Cloudflare'den site sahiplerine seçenek: aramada görün, yapay zekâ eğitimine kapat

Web yayıncılarının son iki yıldaki en büyük ikilemi şuydu: içeriğin yapay zekâ eğitiminde kullanılmasına izin vermek ya da aramada görünürlüğü kaybetme riskini almak. Bu ikilem, internetin en büyük kuruluşlarından bazılarının karma kullanımlı tarayıcı işletmesinden kaynaklanıyordu — hem aramaya hem yapay zekâ eğitimine hizmet eden tek bir tarayıcı. Birini reddettiğinizde diğerini de reddetmiş oluyordunuz.

Cloudflare'in duyurduğu yeni "Disallow AI Training" ayarı bu ikisini ayırıyor. Site sahipleri aramada dizinlenmeye devam ederken aynı tarayıcının içeriği üzerinde eğitim yapmasını reddedebiliyor. Apple, Google ve Microsoft bu ayara uyuyor ya da belirli bir takvim içinde uymayı taahhüt etmiş durumda.

Şirketin paylaştığı veri, site sahiplerinin bu iki kullanıma nasıl baktığını gösteriyor. Cloudflare sitelerinin yüzde 1'inden azı arama botlarını engellemeyi seçiyor — yani arama neredeyse herkes için yararlı. Eğitim tarafında ise tablo farklı: sitelerin yüzde 17'si eğitimi engellemek için bir mekanizma etkinleştiriyor. Şirketin daha ayrıntılı denetim geliştirmesinin gerekçesi de bu — toptan bir "Yapay zekâyı engelle" düğmesi ihtiyacı karşılamıyor.

Cloudflare, robots.txt'nin tek başına bu sorunu çözemeyeceğini de açıkça belirtiyor: herkes bir robots.txt yayımlayabilir, ancak bu dosya kimin taradığını belirleyemez, neden taradığını anlayamaz ve kendisini yok sayan bir tarayıcıyı durduramaz. Bir ağ ise bunu yapabiliyor — tercihi yayımlıyor, tarayıcıyı tanımlıyor, amacını sınıflandırıyor ve uymayanları engelleyip her operatörün gerçekte ne yaptığını raporluyor.

Ancak şirketin vurgusu engellemenin ötesinde. Engelleme bir tarayıcıyı ortadan kaldırıyor ama tarayıcıların davranışını değiştirmiyor; daha iyi sonuç, operatörlerin site sahiplerini seçim yapmak zorunda bırakmaması. Cloudflare temmuzdan bu yana operatörlerle doğrudan görüştüğünü ve neredeyse hepsinin site sahiplerinin denetim ve şeffaflık hakkı olduğunda hemfikir olduğunu aktarıyor.

Bunun sonucunda "Accountable" adlı bir tanım oluşturulmuş. Bu tanıma girmek için bir bot operatörünün dört koşulu karşılaması ya da karşılamayı taahhüt etmesi gerekiyor: yapay zekâ eğitiminden çıkış mekanizması, yapay zekâ özetlerinden çıkış mekanizması, hangi sayfaların eğitime açıldığına dair URL düzeyinde görünürlük ve eğitimden çıkmanın geleneksel arama sonuçlarını etkilemeyeceği güvencesi.

Sıradaki başlık yapay zekâ özetleri. Şirkete göre site genelinde evet ya da hayır demek fazla kaba bir seçenek: içeriğin ne kadarının özette göründüğü, görünüp görünmediği kadar önemli. Cloudflare gelecek yılın başında site sahiplerinin bu oranı — her operatörle ayrı ayrı değil, tek bir yerden — belirleyebilmesini hedefliyor.