Magnitude ve llama.cpp: hızlı çıktı, kısa bekleme demek mi?

Yanıt üretimi yaklaşık iki kat hızlansa da uzun girdiyi okumak zaman alıyor. Örnek hesapta toplam tur süresi yalnızca yaklaşık %12 azalıyor.

M4 Pro'da 64K context ile Magnitude ve llama.cpp: tek soğuk agent turu 154 s'den 135 s'ye iniyor

Modelin yanıtı hızlı yazması, bütün işin aynı oranda hızlandığı anlamına gelmez. Uzun dosyaları okumak, yanıt üretmekten daha fazla zaman alabilir. "llama.cpp'den 2 kata kadar daha hızlı", bu hafta Magnitude'un Launch HN paylaşımının başlığıydı. O 2 kat decode'da (modelin yanıtı parça parça üretmesi). Prefill (modelin yanıt yazmadan önce girdiyi işlemesi) %9 kıpırdadı.

Magnitude, agent'lar (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) için açık kaynak bir yerel inference (eğitilmiş modelin verilen girdiden sonuç üretmesi) motoru. GPU (çok sayıda hesabı paralel yapabilen grafik işlemci) kernel'lerini kendi makinenizde ayarlıyor, model başına yaklaşık bir dakikada.

Mac rakamları, 64K (yaklaşık 64 bin) context'te (modelin o anda görebildiği konuşma, talimat ve dosya bilgisi) Qwen 35B:

  • Decode saniyede 30 token'dan (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) 57'ye çıktı.
  • Prefill 466'dan 507'ye çıktı.

Tek bir soğuk agent turu için hesabı yaptım. 64K token'ı okumak iki motorda da iki dakikadan uzun sürüyor. 500 token'lık bir cevabı yazmak 17 saniyeden 9'a iniyor. Tur yarı yarıya değil, yaklaşık %12 kısalıyor.

Bir agent turu çoğunlukla okumadır: tool (ajanın çağırabildiği dış işlev veya araç) çıktısı, diff'ler (iki sürüm arasındaki değişiklikleri gösteren karşılaştırma), dosyaların tamamı. Bu da prefill demek.

Motor değiştirmeden önce ölçün:

  • Gerçek context boyutunuzda prefill hızı
  • Turlar arasında prefix cache (girdinin değişmeyen başlangıç bölümünü yeniden kullanma) isabetleri
  • Saniye başına token değil, agent turu başına saniye
  • Tam olarak kendi çipinizdeki sonuçlar

Çıktının hızlı yazılması demoda etkileyici görünür. Uzun girdilerde toplam bekleme süresini ise girdinin okunması belirleyebilir.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.