PostHog Jeeves: model ne zaman daha fazla düşünmeli?
Ek düşünme adımları doğruluğu artırırken yanıtı yavaşlatıyor. Jeeves örneğinde bu maliyeti yalnızca belirsiz sorularda üstlenmenin sonuçları.

Modelin yanıtlamadan önce daha fazla düşünmesi doğruluğu artırabilir, ama kullanıcıyı daha uzun bekletir. Buradaki yaklaşım, ek düşünmeyi yalnızca belirsiz sorular için kullanmak. 9B'lik (9 milyar öğrenilmiş sayısal değer içeren) bir sınıflandırıcı (girdiyi belirli kategorilere ayıran model), cevap vermeden önce düşünebildiğinde beş puan daha isabetli oldu. Medyan (ölçümler sıralandığında ortada kalan değer) yanıt süresi 0.3 saniyeden 3.3'e çıktı.
PostHog bugün Jeeves'i açık kaynak yaptı: evet/hayır, çoktan seçmeli ve puanlama soruları için küçük bir karar modeli. Destek taleplerini doğru ekibe yönlendirmek veya içeriği inceleme için işaretlemek gibi işlerde kullanılabiliyor.
Asıl sorun, en uzun bekleyen isteklerde görülüyor. Tam reasoning (modelin yanıt öncesinde ara düşünme adımları üretmesi) ile tek bir H100 grafik işlemcisinde p90 (yanıtların yüzde 90’ının altında kaldığı süre) gecikme 17 saniyeye ulaşıyor.
Ortadaki ayar kopyalanmaya değer. Model önce düşünmeden cevap veriyor ve yalnızca güveni 0.9'un altındaysa, sınırlı bir zincirle reasoning yapıyor. Geliştirme sırasında kullanılan örnek veri kümelerinde bu, kazancın çoğunu koruyor: tam düşünmede 0.825 olan başarı puanına karşı 0.806, 2 saniyelik medyan ve yanıtların yüzde 90’ında 6 saniyenin altında.
Bir sınıflandırıcıya reasoning eklemeden önce:
- Kendi etiketlerinizle ölçün
- Medyanı değil, p90'ı okuyun
- Hızlı cevap kendinden eminse düşünmeyi atlayın
- Eşiğe güvenmeden önce kalibrasyonu (güven puanıyla gerçek başarı oranının uyuşmasını) kontrol edin
Reasoning bir bütçedir. Onu belirsiz durumlara harcayın.
Bu yazı İngilizce aslından Türkçeye çevrilmiştir.



Bu yazıya bırakılan notlar
Katıl
Bir yorum bırak.
Bu yazıya not eklemek için giriş yap.
Sadece adın ve avatarın kullanılır.