Cursor talimatı üçte iki kısalttı; maliyet neden yalnızca %7 düştü?

Model maliyetinde temel talimat kadar biriken konuşma ve dosya bilgisi de etkili. Cursor örneğinde faturayı azaltan değişiklikler.

Cursor agent harness'ı, %7 daha az token: sistem prompt'u yaklaşık üçte iki kırpıldı ve faturayı değiştiren dört değişiklik

Yapay zekâya verilen temel talimatı kısaltmak faturayı aynı oranda küçültmeyebilir. Çünkü konuşma geçmişi, okunan dosyalar ve araç sonuçları da ücretli girdinin parçasıdır. Cursor, agent'ının (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) sistem prompt'unun (modelin davranışını belirleyen temel talimat) yaklaşık üçte ikisini kesti. Toplam token (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) maliyeti %7 düştü.

Asıl ders bu iki oran arasındaki farkta: talimatı çok kısaltmak, toplam faturayı aynı ölçüde azaltmıyor.

Sistem prompt'u ekibin tamamen kontrol ettiği kısım, bu yüzden ilk o kırpılıyor. Aynı zamanda her turda yeniden gönderiliyor ve çoğunlukla cache'ten (yeniden kullanmak için saklanan geçici veri, yani önbellek) sunuluyor. Faturanın geri kalanı birikenlerde: dosya okumaları, tool (ajanın çağırabildiği dış işlev veya araç) çıktıları, sürekli uzayan bir konuşma.

Maliyeti düşüren diğer değişiklikler:

  • İhtiyaç anında yüklenen tool'lar. Yerleşik tool'ların çoğu konuşmaların beşte birinden azında görünüyor, bu yüzden tanımları statik context'ten (modelin o anda görebildiği konuşma, talimat ve dosya bilgisi) çıkarıldı.
  • Kararlı katmanlardan sonra cache breakpoint'leri (yeniden kullanılacak girdinin sınırını işaretleyen nokta), istek başına kurulum da bunların arkasına taşındı. Soğuk cache miss'ler (istenen bilginin önbellekte bulunamaması) beşte bir azaldı.
  • Dosya okumalarında her onuncu satıra satır numarası.
  • Eval'ler (modelin yanıtlarını belirli ölçütlerle değerlendiren test) zor görevlere kaydığı için gerçek trafikte A/B (iki yaklaşımı farklı kullanıcı gruplarında karşılaştırma) testleri (iki yaklaşımı gerçek kullanıcı gruplarında karşılaştırma).

Kendi ajan çalıştırma altyapınızı yönetiyorsanız, herhangi bir şeyi kırpmadan önce harcamayı katmanlara ayırın.

Talimatı anlaşılır olması için kısaltın. Maliyeti düşürmek için modele her turda gönderilen toplam bilgiyi azaltın.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.