Audible’dan Sesli Kitaplara Özel Yapay Zeka: Karakter Seslerini Yüzde 97 Doğrulukla Tespit Ediyor

Amazon bünyesinde faaliyet gösteren Audible’ın teknoloji ekibi, sesli kitap anlatımları için "kontrol edilebilir metinden sese" (TTS) adını verdiği yeni bir yapay zeka sistemi geliştirdi. Geleneksel metinden sese dönüştürme modellerinin uzun soluklu içeriklerde karakter seslerini tutarlı tutamaması sorununa odaklanan yeni altyapı, kitap içindeki karakterleri profilliyor ve diyalogları İngilizce metinlerde yüzde 97, İspanyolca metinlerde ise yüzde 94 doğruluk oranıyla ilgili karaktere atıyor.

Ses kalitesini ve dinleme performansını ölçmek amacıyla uygulanan ve 0 ile 100 arasında derecelendirme yapılan MUSHRA testlerinde sistem, diyalogları biribirinden ayırma yeteneğinde 3,7 puanlık artış sağladı. Hem İngilizce hem de İspanyolca dillerinde yürütülen testlerde, değerlendirilen her 10 karakter sesinden 8'inde dinleme deneyimi açısından istatistiksel olarak belirgin iyileşme kaydedildiği bildirildi.

Kitap Boyunca Tutarlı Ses Profillemesi

Sohbet robotları ve sanal asistanlar gibi birkaç saniyelik kısa etkileşimlerde kullanılan genel amaçlı TTS modelleri, 10 ila 15 saat süren sesli kitaplarda monotonlaşma veya bölümler arasında ses karakterinin değişmesi gibi teknik sorunlar yaratıyor. Audible'ın tasarladığı sistem, karakter ses profilini kitap ölçeğinde sabitleyerek birinci bölüm ile son bölüm arasında aynı karakterin aynı ses kimliğiyle seslendirilmesine imkan tanıyor. Böylece anlatıcı sesi ile karakter diyalogları arasındaki ayrım dinleyici için netleşiyor.

Sistemin anlatım tarzı "endişeyle fısıldama" veya "öfkeyle bağırma" gibi doğal dilde yazılmış metin komutlarıyla yönlendiriliyor. Büyük dil modellerinin (LLM) derin metin anlama yeteneğinden faydalanan mühendisler, ses verilerinden frekans, konuşma hızı ve duygu gibi değerleri veri işleme algoritmalarıyla ayıklayarak özel bir sentetik veri üretim süreci kurdu. Süreç kapsamında geliştirilen ikincil bir ses etiketleme modeli, ses kayıtlarını analiz ederek otomatik metin açıklamalarına dönüştürüyor ve modelin eğitim havuzunu genişletiyor.