Modeli yanlış cevabın maliyetine göre seç
"Medium effort kullan, max asla" iyi bir varsayılan ama kötü bir kural. Her ajan işini tek bir soruyla yönlendiriyorum: yanlış cevap neye mal olur?
"Use medium effort. Never max." (orta düzey düşünme kullan, en yükseğini asla) bugün akışımda en çok dolaşan Claude tavsiyesiydi. İyi bir varsayılan. Ama her iş için kural olunca iki yönden de yanlış. Bir scriptin yapması gereken işe fazla para ödetiyor, hatanın pahalı olduğu işe ise az.
Kendi işlerim için zamanlanmış küçük bir ajan ekibi çalıştırıyorum. Hiçbir şey çalışmadan önce her iş tek bir soruyla karşılaşıyor: yanlış cevap neye mal olur?
Yönlendirme tablosu
| İş | Yanlışsa | Ne çalıştırıyor |
|---|---|---|
| Sayma, tarih, limit, tekrar kontrolü | Hiç yanlış olmamalı | Düz bir script, model yok |
| Çok sayıda küçük evet/hayır kontrolü | Bir hatalı kayıt | Küçük bir karar modeli, hepsi tek toplu çağrıda |
| Sayfa okumak, form doldurmak | Bir tekrar deneme | Sonnet |
| Uzun sayfalardan bilgi çıkarmak | Ana bağlamın dolması | Kısa özet döndüren bir Haiku alt ajanı |
| Planlama ve zor kararlar | Günlerce tekrar iş | Opus |
| Yayına giden kod | Canlı ortamda bir hata | Yüksek effort ile Opus |
Önce script
Hesaplanabilen bir cevabı olan hiçbir iş modele gitmiyor. Tarihler, limitler, kelime sayıları, tekrar kontrolleri. Model bunları yanlış yapabilir. Script yapamaz ve tekrar çalıştırmak bedava.
Hacim için küçük modeller
Çok sayıda kayıt üzerindeki evet/hayır soruları tek çağrıda küçük bir karar modeline gidiyor. Bu öğleden sonra 40 LinkedIn postunu 0,0016 dolara eledi. Sadece eliyor ve sıralıyor. Benim adıma dışarı çıkan hiçbir şeyde son kararı vermiyor.
Hatanın pahalı olduğu yerde büyük model
Planlama ve yayına giden kod en güçlü modeli ve daha fazla effort'u (modelin cevap öncesi düşünme bütçesi) alıyor. Kötü bir plan ya da canlıdaki bir hatanın yanında fazladan tokenlar ucuz. Uzun okumayı bir alt ajan (kendi bağlam penceresi olan yardımcı) yapıyor, pahalı oturum sadece özeti görüyor.
Ayarı seçmeden önce
- Bir script cevaplayabilir mi? O zaman model yok.
- Çok sayıda küçük kayıt mı? Küçük modele toplu gönder, bir örneği elle kontrol et.
- Yanlış cevap bir insana ya da canlı ortama ulaşır mı? Büyük modele öde.
- Bir model ya da fiyat değişince yönlendirmeyi yeniden kontrol et.
Medium iyi bir varsayılan. Kural, yönlendirmenin kendisi.
Bu yazı İngilizce aslından Türkçeye çevrilmiştir.
Bu yazıya bırakılan notlar
Katıl
Bir yorum bırak.
Bu yazıya not eklemek için giriş yap.
Sadece adın ve avatarın kullanılır.