OpenAI Yapay Zekada Gelişimi Ölçmek İçin Perplexity Ölçütünü Önerdi
OpenAI Baş Bilim İnsanı Jakub Pachocki, yapay zeka modellerinin zeka seviyesini ve güvenlik standartlarını değerlendirmek için 'perplexity' ölçütünün ortak sektör standardı olmasını önerdi.
OpenAI Baş Bilim İnsanı Jakub Pachocki, yapay zeka modellerinin gelişimini ve ortaya çıkan yeteneklerini değerlendirmek amacıyla 'perplexity' (karmaşıklık) ölçütünün sektör genelinde ortak bir standart haline getirilmesini önerdi. Şirket, bu öneriyle birlikte modellerinin ön eğitim süreçlerindeki dahili karmaşıklık verilerini ilk kez kamuoyuyla paylaştı.
OpenAI'ın test verilerine göre, modellerin log-perplexity skorlarındaki gerileme belirli yeteneklerin ortaya çıkmasıyla doğrudan paralellik gösteriyor. GPT-3.5 modeli yaklaşık 0,99 log-perplexity değerine ulaşarak akıcı sohbet yeteneği kazanırken, GPT-4 modeli 0,91 seviyesinde düşünce zinciri akıl yürütme becerisini sergiledi. Skorun 0,80'in altına gerilemesiyle siber güvenlik ve matematik alanlarında yeni kabiliyetler belirdi; 0,76 seviyesine ulaşan güncellenmiş model ise açık matematik problemlerini çözebilir hale geldi.
2027 Öngörüsü ve Sektör Standartları
Pachocki, model geliştirme sürecindeki sıçramaların devam edeceğini ve log-perplexity değerinin 0,68 ile 0,70 aralığına inmesiyle yeni dönüştürücü yeteneklerin belireceğini öngörüyor. Yapay zekanın kendi geliştirme süreçlerine ve ön eğitim algoritmalarına katkı sağlamasıyla birlikte, 2027 yılı itibarıyla temel ön eğitim araştırmalarında büyük bir ivme yaşanabileceği ifade ediliyor.
Geleneksel kıyaslama testlerinin model nesilleri geliştikçe hızla doyuma ulaştığını belirten şirket, ön eğitim aşamasındaki veri sıkıştırma başarısının model güvenliğini ve gelişim hızını izlemek için daha kalıcı bir gösterge sunduğunu savunuyor. Bu verilerin paylaşılması rekabet riski taşısa da OpenAI, sektör genelinde güvenlik standartlarının ortak bir zeminde belirlenmesinin bu kaygıdan daha öncelikli olduğunu vurguluyor.
Yorumlar (0)
Bu içeriğe henüz yorum yapılmamış.
Yorumlar yayınlanmadan önce moderasyondan geçer.