Cursor talimatı üçte iki kısalttı; maliyet neden yalnızca %7 düştü?
Model maliyetinde temel talimat kadar biriken konuşma ve dosya bilgisi de etkili. Cursor örneğinde faturayı azaltan değişiklikler.

Yapay zekâya verilen temel talimatı kısaltmak faturayı aynı oranda küçültmeyebilir. Çünkü konuşma geçmişi, okunan dosyalar ve araç sonuçları da ücretli girdinin parçasıdır. Cursor, agent'ının (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) sistem prompt'unun (modelin davranışını belirleyen temel talimat) yaklaşık üçte ikisini kesti. Toplam token (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) maliyeti %7 düştü.
Asıl ders bu iki oran arasındaki farkta: talimatı çok kısaltmak, toplam faturayı aynı ölçüde azaltmıyor.
Sistem prompt'u ekibin tamamen kontrol ettiği kısım, bu yüzden ilk o kırpılıyor. Aynı zamanda her turda yeniden gönderiliyor ve çoğunlukla cache'ten (yeniden kullanmak için saklanan geçici veri, yani önbellek) sunuluyor. Faturanın geri kalanı birikenlerde: dosya okumaları, tool (ajanın çağırabildiği dış işlev veya araç) çıktıları, sürekli uzayan bir konuşma.
Maliyeti düşüren diğer değişiklikler:
- İhtiyaç anında yüklenen tool'lar. Yerleşik tool'ların çoğu konuşmaların beşte birinden azında görünüyor, bu yüzden tanımları statik context'ten (modelin o anda görebildiği konuşma, talimat ve dosya bilgisi) çıkarıldı.
- Kararlı katmanlardan sonra cache breakpoint'leri (yeniden kullanılacak girdinin sınırını işaretleyen nokta), istek başına kurulum da bunların arkasına taşındı. Soğuk cache miss'ler (istenen bilginin önbellekte bulunamaması) beşte bir azaldı.
- Dosya okumalarında her onuncu satıra satır numarası.
- Eval'ler (modelin yanıtlarını belirli ölçütlerle değerlendiren test) zor görevlere kaydığı için gerçek trafikte A/B (iki yaklaşımı farklı kullanıcı gruplarında karşılaştırma) testleri (iki yaklaşımı gerçek kullanıcı gruplarında karşılaştırma).
Kendi ajan çalıştırma altyapınızı yönetiyorsanız, herhangi bir şeyi kırpmadan önce harcamayı katmanlara ayırın.
Talimatı anlaşılır olması için kısaltın. Maliyeti düşürmek için modele her turda gönderilen toplam bilgiyi azaltın.
Bu yazı İngilizce aslından Türkçeye çevrilmiştir.



Bu yazıya bırakılan notlar
Katıl
Bir yorum bırak.
Bu yazıya not eklemek için giriş yap.
Sadece adın ve avatarın kullanılır.