Anthropic, yapay zekânın kullanıcı refahına etkisini ölçecek araştırmalara 5 milyon dolar ayırdı

Sohbet modellerinin kullanıcı üzerindeki etkisini ölçmek, yetenek ölçmekten çok daha zor. Bir modelin bir sınavda kaç puan aldığı sayılabilir; birine iyi mi yoksa kötü mü geldiği sayılamıyor. Anthropic bu boşluk için 5 milyon dolarlık bir araştırma fonu açtı.

Fonun amacı, yapay zekâ modellerinin kullanıcı refahı üzerindeki etkisini değerlendirecek açık kaynaklı ölçüm ve kıyaslama araçlarının geliştirilmesi. Destek yalnızca para değil: seçilen projelere modellere erişim ve teknik destek de sağlanacak. Araştırmacılar tümüyle bağımsız çalışacak ve çıktılarını herhangi bir geliştiricinin kullanabileceği açık kaynak projeler olarak yayımlayacak.

Şirketin işaret ettiği zorluk ölçümün doğasında. Çoğu model davranışında tek bir yanıta bakıp doğru ve uygun olup olmadığına karar verilebiliyor. Refah değerlendirmesi ise çok daha fazla bağlam gerektiriyor. Sıkıntıda olan bir kullanıcı kendine zarar verme düşüncelerini hemen paylaşmayabiliyor; daha temkinli bir yanıtın gerekli olduğu, ancak uzun bir konuşmanın akışında belli olabiliyor.

Anthropic'in verdiği örnek bu belirsizliği somutlaştırıyor: kilo vermek isteyen bir kullanıcıya dengeli beslenme ve egzersiz önerileri vermek makul bir yanıt. Ancak aynı kullanıcı daha önce yeme bozukluğu geçmişi göstermişse, aynı yanıt uygunsuz ve fiilen zararlı olabiliyor.

Şirket, fon çağrısıyla birlikte kendi Safeguards ekibinin bir değerlendirmeyi sağlam kılan unsurlara dair kılavuzunu da paylaştı. Aranan özellikler şunlar: neyin ölçüldüğünü açıkça belirtmek — neyin geçer neyin kalır sayıldığı ve bunun neden önemli olduğu; tasarım ve doğrulamaya klinisyenleri ve alan uzmanlarını dahil etmek; hem aşırı uyumu hem aşırı reddetmeyi sınamak; kullanıcıların yapay zekâyı gerçekte nasıl kullandığını yansıtmak, yani riskin arttığı ve bağlamın kaydığı çok turlu konuşmalar kurgulamak; değerlendiricileri gerçek alan uzmanlarına karşı doğrulamak.

Fon bağımsız araştırmacılara, klinisyenlere, psikologlara ve yöntembilim uzmanlarına açık. Takvim dar: başvurular 21 Eylül'de kapanıyor, tam öneri sunmaya davet edilecek adaylara 5 Ekim'e kadar bildirim yapılacak.