NVIDIA Çok Dilli Ses Modeli Nemotron 3.5 Transcribe'ı Açık Kaynağa Sundu

NVIDIA; ses deşifresi, konuşmacı ayrımı (diyarizasyon), çeviri ve ses tabanlı soru-cevap işlevlerini tek bir mimaride birleştiren açık ağırlıklı yapay zeka modeli Nemotron 3.5 Transcribe'ı Hugging Face ve ModelScope platformlarında kullanıma sundu. Şirket aynı zamanda modelin veri işleme ve ince ayar süreçleri için geliştirilen Granary v2 veri hattını yayınladı.

Nemotron 3.5 Transcribe, 40 dilde deşifre yapabilirken, bu dillerden 31'i ile İngilizce arasında çift yönlü çeviri desteği sunuyor. Model ayrıca 13 farklı dilde sekiz konuşmacıya kadar ses kaynağını ayırt edebiliyor. Bir saate kadar olan ses kayıtlarını işleyebilen model, hibrit Mamba-Transformer mimarisine ve çoklu uzman (Mixture-of-Experts) yapısına dayanıyor. Toplam 30 milyar parametreye sahip olan modelde jeton başına yalnızca yaklaşık 4 milyar parametre aktif olarak çalışıyor.

Benchmark Testlerinde İlk Sırada

Geliştiricilerin doğal dil komutlarıyla yönlendirebildiği model, paylaşılan performans verilerine göre açık kaynaklı modeller arasında öne çıkıyor. Hugging Face Open ASR liderlik tablosunun İngilizce kategorisinde %5,33 ortalama kelime hata oranı (WER) elde eden model, yedi dilli test grubunda %4,62 ve uzun formatlı ses testinde %10,98 WER oranına ulaştı. Artificial Analysis testlerinde ise %2,8 AA-WER skoruna ulaşan model, kendisinden altı kat daha fazla aktif parametreye sahip 24 milyarlık modellerle aynı seviyeyi yakaladı.

Konuşmacı ayrımı performansında Sortformer mimarisinden faydalanan model, David AI'ın 21 dilli diyarizasyon testinde en düşük hata oranını kaydederken, 14 sistemin kıyaslandığı VoiceArena sıralamasında birinci sırada yer aldı. Gerçek zamanlı ses ve video platformu Agora da kelime düzeyinde zaman damgası desteği sunan modeli ders kayıtlarının deşifresi için platformuna entegre etti.

Özelleştirilebilir Veri Hattı: Granary v2

NVIDIA, modelle birlikte özelleştirme süreçleri için Granary v2 veri kümesini ve NeMo Speech ince ayar araçlarını yayımladı. Sağlık sektörüne yönelik yapılan bir denemede, tıp terimleri için özel olarak ince ayar yapılan modelin kelime hata oranında, yönlendirme komutlarına kıyasla %45,8 oranında bağıl düşüş sağlandı.

Önümüzdeki dönemde nicellenmiş (quantized) sürümleri çıkarılacak olan Nemotron 3.5 Transcribe; RTX Spark, DGX Spark ve Jetson AGX Thor gibi yerel cihazların yanı sıra veri merkezlerinde Blackwell mimarili GPU'larda çalıştırılabilecek.