PostHog Jeeves: model ne zaman daha fazla düşünmeli?

Ek düşünme adımları doğruluğu artırırken yanıtı yavaşlatıyor. Jeeves örneğinde bu maliyeti yalnızca belirsiz sorularda üstlenmenin sonuçları.

Jeeves dev seti: doğruluk 0.775 → 0.825, medyan gecikme 0.3 s → 3.3 s, p90 17 s; sınıflandırıcılar için kontrol listesiyle

Modelin yanıtlamadan önce daha fazla düşünmesi doğruluğu artırabilir, ama kullanıcıyı daha uzun bekletir. Buradaki yaklaşım, ek düşünmeyi yalnızca belirsiz sorular için kullanmak. 9B'lik (9 milyar öğrenilmiş sayısal değer içeren) bir sınıflandırıcı (girdiyi belirli kategorilere ayıran model), cevap vermeden önce düşünebildiğinde beş puan daha isabetli oldu. Medyan (ölçümler sıralandığında ortada kalan değer) yanıt süresi 0.3 saniyeden 3.3'e çıktı.

PostHog bugün Jeeves'i açık kaynak yaptı: evet/hayır, çoktan seçmeli ve puanlama soruları için küçük bir karar modeli. Destek taleplerini doğru ekibe yönlendirmek veya içeriği inceleme için işaretlemek gibi işlerde kullanılabiliyor.

Asıl sorun, en uzun bekleyen isteklerde görülüyor. Tam reasoning (modelin yanıt öncesinde ara düşünme adımları üretmesi) ile tek bir H100 grafik işlemcisinde p90 (yanıtların yüzde 90’ının altında kaldığı süre) gecikme 17 saniyeye ulaşıyor.

Ortadaki ayar kopyalanmaya değer. Model önce düşünmeden cevap veriyor ve yalnızca güveni 0.9'un altındaysa, sınırlı bir zincirle reasoning yapıyor. Geliştirme sırasında kullanılan örnek veri kümelerinde bu, kazancın çoğunu koruyor: tam düşünmede 0.825 olan başarı puanına karşı 0.806, 2 saniyelik medyan ve yanıtların yüzde 90’ında 6 saniyenin altında.

Bir sınıflandırıcıya reasoning eklemeden önce:

  • Kendi etiketlerinizle ölçün
  • Medyanı değil, p90'ı okuyun
  • Hızlı cevap kendinden eminse düşünmeyi atlayın
  • Eşiğe güvenmeden önce kalibrasyonu (güven puanıyla gerçek başarı oranının uyuşmasını) kontrol edin

Reasoning bir bütçedir. Onu belirsiz durumlara harcayın.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.