Magnitude ve llama.cpp: hızlı çıktı, kısa bekleme demek mi?
Yanıt üretimi yaklaşık iki kat hızlansa da uzun girdiyi okumak zaman alıyor. Örnek hesapta toplam tur süresi yalnızca yaklaşık %12 azalıyor.

Modelin yanıtı hızlı yazması, bütün işin aynı oranda hızlandığı anlamına gelmez. Uzun dosyaları okumak, yanıt üretmekten daha fazla zaman alabilir. "llama.cpp'den 2 kata kadar daha hızlı", bu hafta Magnitude'un Launch HN paylaşımının başlığıydı. O 2 kat decode'da (modelin yanıtı parça parça üretmesi). Prefill (modelin yanıt yazmadan önce girdiyi işlemesi) %9 kıpırdadı.
Magnitude, agent'lar (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) için açık kaynak bir yerel inference (eğitilmiş modelin verilen girdiden sonuç üretmesi) motoru. GPU (çok sayıda hesabı paralel yapabilen grafik işlemci) kernel'lerini kendi makinenizde ayarlıyor, model başına yaklaşık bir dakikada.
Mac rakamları, 64K (yaklaşık 64 bin) context'te (modelin o anda görebildiği konuşma, talimat ve dosya bilgisi) Qwen 35B:
- Decode saniyede 30 token'dan (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) 57'ye çıktı.
- Prefill 466'dan 507'ye çıktı.
Tek bir soğuk agent turu için hesabı yaptım. 64K token'ı okumak iki motorda da iki dakikadan uzun sürüyor. 500 token'lık bir cevabı yazmak 17 saniyeden 9'a iniyor. Tur yarı yarıya değil, yaklaşık %12 kısalıyor.
Bir agent turu çoğunlukla okumadır: tool (ajanın çağırabildiği dış işlev veya araç) çıktısı, diff'ler (iki sürüm arasındaki değişiklikleri gösteren karşılaştırma), dosyaların tamamı. Bu da prefill demek.
Motor değiştirmeden önce ölçün:
- Gerçek context boyutunuzda prefill hızı
- Turlar arasında prefix cache (girdinin değişmeyen başlangıç bölümünü yeniden kullanma) isabetleri
- Saniye başına token değil, agent turu başına saniye
- Tam olarak kendi çipinizdeki sonuçlar
Çıktının hızlı yazılması demoda etkileyici görünür. Uzun girdilerde toplam bekleme süresini ise girdinin okunması belirleyebilir.
Bu yazı İngilizce aslından Türkçeye çevrilmiştir.



Bu yazıya bırakılan notlar
Katıl
Bir yorum bırak.
Bu yazıya not eklemek için giriş yap.
Sadece adın ve avatarın kullanılır.