NVIDIA Nemotron 3 Diarization: düşük latency ucuz, kalabalık değil

Nemotron 3 Diarization düşük latency'de neredeyse hiç doğruluk kaybetmiyor, ama dörtten fazla konuşmacıda hata kabaca üçe katlanıyor.

DIHARD III'te NVIDIA Nemotron 3 Diarization kartı: 1-4 konuşmacıda %9, 5+ konuşmacıda %28 hata ve yayın öncesi kontroller.

Her toplantı transkript aracı aynı duvara çarpar: kim ne dedi.

NVIDIA dün Nemotron 3 Diarization'ı Hugging Face'te yayınladı. Açık ağırlıklar, 100M parametre, sekiz konuşmacıya kadar, ticari kullanıma izin var.

Demo, aynı anda konuşan sekiz sesi gösteriyor. Model kartında ise daha işe yarar bir sayı var.

DIHARD III benchmark'ında input buffer'ı 30 saniyeden saniyenin üçte birine indirmek bir puandan az hata ekliyor. Dört konuşmacıdan beş veya daha fazlasına çıkmak ise hatayı kabaca üçe katlıyor, yaklaşık %9'dan yaklaşık %28'e.

Bir ürüne bağlamadan önce:

  1. Konuşmacıları oturum bazında eşleyin. Kanal 0, ilk konuşan kişidir.
  2. En düşük latency preset'ini deneyin. Neredeyse hiç doğruluk kaybettirmiyor.
  3. Kendi sesinizle test edin. Demo sesleri temiz ve sentetik.
  4. Hata oranınızı konuşmacı sayısına göre ayırın.

Latency ucuzladı. Kalabalık odalar ucuzlamadı.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗