Pi 1.0 demosu: faturanın %95’i planlama modelinden

Ucuz model daha çok metin üretse de pahalı planlayıcı toplam maliyeti belirleyebilir. Pi 1.0 demosunda maliyetin modeller arasında dağılımı.

Pi 1.0 demosunda model başına maliyet, Opus $0.071 ve Luna $0.004, planlayıcı ile uygulayıcıyı ayırma kontrol listesiyle

Bir işi pahalı modelin planlayıp ucuz modelin yapması tasarruf sağlayabilir. Ancak maliyeti belirlemek için hangi modelin kaç kelime yazdığına bakmak yetmez. Pi 1.0'ın lansman demosunda Claude Opus, token'ların (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) yaklaşık beşte birini ve faturanın yaklaşık %95'ini üstlendi.

Earendil dün Pi 1.0'ı yayınladı. Bu hafta Hacker News'in zirvesindeki açık kaynak agent harness'ı (ajanın araçlarını, oturumunu ve çalışma döngüsünü yöneten altyapı).

Demo sanal bir model kuruyor. Opus planlıyor, GPT 6 Luna uyguluyor ve LLM (metin anlayıp üreten büyük dil modeli) olmayan bir model olan Jev, devrin ne zaman yapılacağına karar veriyor.

Pi'nin /session komutu maliyeti model bazında ayırıyor. Opus yaklaşık 20K (yaklaşık 20 bin) token kullandı. Luna yaklaşık 76K (yaklaşık 76 bin). Opus yine de yaklaşık 18 kat daha pahalıya geldi.

Uzun yazma işini ucuz model yaptı. Ama ne kadar tasarruf edeceğinizin tavanını planlayıcının payı belirliyor.

Devrin de bir bedeli var. Aynı ekranda bir cache miss (istenen bilginin önbellekte bulunamaması) görünüyor; birkaç bin token yeniden faturalanmış.

Planlayıcıyı ve uygulayıcıyı ayırmadan önce:

  • Maliyeti oturum başına değil, model başına loglayın
  • Her geçişte cache miss'leri sayın
  • Görev başına planlayıcı çıktısına sınır koyun
  • Uygulayıcının yeniden plan yapmadığını kontrol edin

Metnin çoğunu ucuz model üretse bile faturanın büyük kısmı pahalı planlayıcıdan gelebilir.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.