llama.cpp: kopyalamamak, yeni veri yapısından daha çok hız kazandırdı

llama.cpp’de 16 satırlık değişiklik, aynı veriyi tekrar kopyalamayı kaldırarak büyük hız kazandırdı. Veri yapısını değiştirmeden önce kopyaları ölçün.

llama.cpp prompt lookup drafting kartı: 16 satırlık diff ile 4.5x-25x hız ve veri yapısını değiştirmeden önce kontroller.

Bir programı hızlandırmanın yolu bazen yeni bir veri yapısı kurmak değil, aynı veriyi gereksiz yere kopyalamayı bırakmaktır. Bu örnekte küçük değişiklik daha büyük kazanç sağladı. Daha hızlı bir hash map'e (veriyi anahtarına göre hızlı bulan tablo) geçmek klasik C++ hızlandırmasıdır. llama.cpp'nin prompt lookup drafting'inde (girdideki tekrarları kullanarak sonraki metin parçalarını tahmin etme) ise sayıyı neredeyse hiç kıpırdatmadı.

Hayder Tirmazi tuning (ölçüm yaparak ayarları iyileştirme) çalışmasını cumartesi günü yayınladı. Prompt lookup decoding (girdideki tekrarlarla metin üretimini hızlandırma), token'ları (modelin metni işlerken saydığı küçük parça; her zaman bir kelime değildir) n-gram (metinde art arda gelen belirli sayıda parça) sayımlarından draft (sonraki metin parçaları için hızlı bir ön tahmin üretme) eder, yani draft modeli neredeyse bedavadır. Etrafındaki kod öyle değildi.

En büyük kazanç 16 satırlık bir diff'ti (iki sürüm arasındaki değişiklikleri gösteren karşılaştırma): her draft adımında iç map'leri kopyalamayı bırakıp onları referansla okumak. Drafting 4.5x ile 25x arası hızlandı.

Ardından gelen flat hash map, %13'e varan daha hızlı drafting için yaklaşık 4.500 satırlık vendored (dış kütüphane kodunun projeye doğrudan kopyalanmış olması) kod getirdi. İlk sıralı vector (C++ bağlamında, sıralı öğeler tutan büyüyebilir dizi) versiyonu, yerini aldığı koddan daha yavaş çalıştı, ta ki binary search'ü (sıralı veride aralığı her adımda yarıya indirerek arama) yeniden yazana kadar. Daniel Lemire'ın erken eşik çıkışı da toplamı 140x'e taşıdı.

Bir veri yapısını değiştirmeden önce:

  • Önce kopyalar için profiling (zamanın ve kaynakların hangi işlemlerde harcandığını ölçme) yapın.
  • Bir key'in (tabloda kaydı bulmak için kullanılan anahtar) kaç kayıt tuttuğunu sayın.
  • Her değişikliği tek başına ölçün.

En ucuz düzeltme çoğu zaman eksik bir ampersand'dır (C++’ta burada referans belirtmek için kullanılan & işareti).

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.