Spotify neden Bayesçi A/B testi kullanmıyor?

Ürün ekipleri bir değişikliğin işe yarayıp yaramadığını A/B testiyle ölçüyor. Testin istatistiksel olarak nasıl yorumlanacağı ise uzun süredir iki yaklaşım arasında tartışılıyor ve son yıllarda ticari deney platformlarının çoğu — GrowthBook, LaunchDarkly, PostHog, Amplitude Experiment, Optimizely, VWO, Statsig ve Eppo dahil — Bayesçi bir mod ekledi.

Bu modun savunulma biçimi genellikle aynı: Bayesçi A/B testinin modern, esnek ve frekansçı istatistikten daha kolay yorumlanabilir olduğu; çoklu test ve ardışık test gibi frekansçı karmaşıklıkların Bayesçi düşünme biçiminde kendiliğinden çözüldüğü.

Spotify'ın mühendislik ekibi bu iddiaları sorguluyor ve karşı bir sav ortaya koyuyor: Bayesçi A/B testinde sık sık aşırı basitleştirmeye kayan bir eğilim var ve bu, frekansçı istatistikte "gözetleme" olarak bilinen kötü uygulamadan daha iyi olmayan bir çıkarım pratiğine yol açıyor.

Yazının en önemli düzeltmesi kavramsal: Bayesçi A/B testi tek bir şey değil. Her biri bir durdurma kuralı, bir önsel dağılım ve bir olabilirlik fonksiyonuyla tanımlanan bir yapılandırmalar ailesi. Dolayısıyla bir şirketin araçtan değil sorudan başlaması gerekiyor — deney programı için hangi hedefler önemli? Etkisiz özelliklerin yayına çıkmasını sınırlamak mı, etkiyi belirli bir kesinlikte ölçmek mi, zaman içinde belirli bir maliyeti en aza indirmek mi?

Somut örnek tartışmanın kalbinde duruyor: neredeyse her platformun varsayılanı olan düz önsel ile sonsal olasılık eşiğinde durdurma, frekansçı gözetlemenin yanlış pozitif oranını birebir yeniden üretiyor. Yani "istediğiniz an bakabilirsiniz" rahatlığı, yöntemin kendisinden değil yanlış anlaşılmasından geliyor.

Ekibin dayandığı akademik çalışma da iki çerçevenin tartışmanın öne sürdüğünden çok daha yakın olduğunu bulmuş; Bayesçi karar teorisi formülasyonlarının eşdeğer frekansçı formülasyonlara çevrilebildiği gösteriliyor.

Yazının pratik gözlemi de dikkat çekici: pek çok şirket her iki moda birden ihtiyaç duyup duymadığını tartışırken ikisinin de temellerini oturtmamış durumda ve esnekliği, beraberinde gelen karmaşıklığı hesaba katmadan cazip buluyor.