Pi 1.0 demosu: faturanın %95’i planlama modelinden
Ucuz model daha çok metin üretse de pahalı planlayıcı toplam maliyeti belirleyebilir. Pi 1.0 demosunda maliyetin modeller arasında dağılımı.

Bir işi pahalı modelin planlayıp ucuz modelin yapması tasarruf sağlayabilir. Ancak maliyeti belirlemek için hangi modelin kaç kelime yazdığına bakmak yetmez. Pi 1.0'ın lansman demosunda Claude Opus, token'ların (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) yaklaşık beşte birini ve faturanın yaklaşık %95'ini üstlendi.
Earendil dün Pi 1.0'ı yayınladı. Bu hafta Hacker News'in zirvesindeki açık kaynak agent harness'ı (ajanın araçlarını, oturumunu ve çalışma döngüsünü yöneten altyapı).
Demo sanal bir model kuruyor. Opus planlıyor, GPT 6 Luna uyguluyor ve LLM (metin anlayıp üreten büyük dil modeli) olmayan bir model olan Jev, devrin ne zaman yapılacağına karar veriyor.
Pi'nin /session komutu maliyeti model bazında ayırıyor. Opus yaklaşık 20K (yaklaşık 20 bin) token kullandı. Luna yaklaşık 76K (yaklaşık 76 bin). Opus yine de yaklaşık 18 kat daha pahalıya geldi.
Uzun yazma işini ucuz model yaptı. Ama ne kadar tasarruf edeceğinizin tavanını planlayıcının payı belirliyor.
Devrin de bir bedeli var. Aynı ekranda bir cache miss (istenen bilginin önbellekte bulunamaması) görünüyor; birkaç bin token yeniden faturalanmış.
Planlayıcıyı ve uygulayıcıyı ayırmadan önce:
- Maliyeti oturum başına değil, model başına loglayın
- Her geçişte cache miss'leri sayın
- Görev başına planlayıcı çıktısına sınır koyun
- Uygulayıcının yeniden plan yapmadığını kontrol edin
Metnin çoğunu ucuz model üretse bile faturanın büyük kısmı pahalı planlayıcıdan gelebilir.
Bu yazı İngilizce aslından Türkçeye çevrilmiştir.



Bu yazıya bırakılan notlar
Katıl
Bir yorum bırak.
Bu yazıya not eklemek için giriş yap.
Sadece adın ve avatarın kullanılır.