Deney Enflasyonu: Yapay Zekâ Kurmayı Bedavalaştırdı, Bilmeyi Bedavalaştırmadı

Hikâye şöyle başlıyor (örnek). Bir büyüme ekibi, altı ay önce haftada bir A/B testi çıkarabiliyordu. Tasarım, kodlama, olay kaydı, analiz; her biri birkaç gün. Sonra yapay zekâ geldi. Varyantlar dakikalar içinde yazılıyor, açılış sayfaları bir öğleden sonra hazır, SQL sorguları kendi kendine çıkıyor. Şimdi haftada on deney koşuyorlar. Panoda deney sayısı on katına çıktı.

Büyüme rakamı ise aynı yerde.

Bu yazıyı o ekibin sorusu için yazıyorum: “Yapay zekâ ile her şeyi daha hızlı yapıyoruz, neden hâlâ büyümüyoruz?” Cevap bir araçta ya da bir modelde değil. Cevap, bir büyüme döngüsünün hangi adımının ucuzladığında, hangisinin ucuzlamadığında.

Kurmak bedavalaştı, bilmek bedavalaşmadı

Klasik büyüme döngüsü dört adım: hipotez kur, varyantı kur, ölç, öğren. Yapay zekâ ikinci adımı neredeyse sıfıra indirdi. Bu gerçek bir kazanç; küçümseme. Varyant yazmak, akış kurmak, segment başına yaşam döngüsü mesajı üretmek, analist beklemeden cohort çıkarmak; bunların hepsi eskiden haftalar alırdı, şimdi saatler alıyor. Uzun kuyruktaki işler, yani “yapsak iyi olur ama kimsenin vakti yok” listesi, ilk kez gerçekten yapılabilir hâle geldi.

Ama üçüncü adım, ölçmek, yapay zekâ ile ucuzlamadı. Çünkü ölçmenin ham maddesi kod değil, trafik. Bir deneyin sana bir şey söyleyebilmesi için yeterli sayıda insanın o deneyi görmesi gerekir. Yapay zekâ sana insan vermiyor. Trafiğin altı ay önce neyse bugün de o.

Darboğaz kaybolmadı, yer değiştirdi. Eskiden kurmakta tıkanıyordun, şimdi bilmekte tıkanıyorsun. Ve bilmekte tıkanan bir ekibin daha çok deney koşması, bir nehrin suyunu artırmadan ona daha çok değirmen bağlamaya benzer. Her değirmen daha az döner. Üstelik hepsi dönüyor gibi görünür.

Deney enflasyonu

Buna deney enflasyonu diyorum. Enflasyonlu bir ekonomide nominal gelir artar, alım gücü artmaz. Deney enflasyonunda nominal deney sayısı artar, öğrenme artmaz. Mekanizma şu:

Deney sayısı artar. Trafik sabit kalır. Deney başına düşen trafik azalır. Her deneyin istatistiksel gücü düşer. Düşük güçlü deneyler iki şey üretir: göremediğin gerçek etkiler ve gördüğünü sandığın sahte etkiler. İkincisi daha tehlikeli, çünkü panoda “kazanan” diye yazıyor.

Sayılarla bakalım. Ron Kohavi ve arkadaşlarının 2022'de yayımladığı çalışmada bir A/B testinin varyant başına ihtiyaç duyduğu kullanıcı sayısı için basit bir formül var: on altı çarpı varyans bölü tespit etmek istediğin en küçük etkinin karesi. Dönüşüm oranı yüzde 2 olan bir akışta yüzde 10'luk göreli bir iyileşmeyi güvenilir biçimde görmek için bu formül varyant başına yaklaşık 78 bin kullanıcı istiyor. İki varyant için 157 bin.

Şimdi bunu bir örneğe koy: aylık 20 bin ziyaretçili bir ürün. Tek bir deney için yaklaşık sekiz ay gerekiyor. Sekiz ay. Yüzde 20'lik bir etki arıyorsan iki ay. Bu trafiğe haftada on deney bağladığında her deney o 20 binin onda birini görüyor ve hiçbiri hiçbir zaman bir şey söyleyemiyor.

Kohavi'nin çalışmasında bir bölümün başlığı aynen şöyle: düşük istatistiksel güçlü deneyler güvenilir değildir. Genel tavsiyesi de net: A/B testi en az binlerce, tercihen on binlerce aktif kullanıcın varsa işe yarar.

Sahte kazananlar nereden geliyor

Düşük güç yalnız “göremezsin” demek değil. Yanlış görmek demek. Burada üç mekanizma çalışıyor ve üçü de deney sayısı arttıkça büyüyor.

Birincisi yanlış pozitif oranı. Kohavi'nin tablosuna göre fikirlerinin yüzde 10'u gerçekten işe yarıyorsa ve deneylerin yüzde 80 güçle koşuyorsa, anlamlı çıkan sonuçların yüzde 22'si sahte. Güç yüzde 20'ye düştüğünde, ki deney enflasyonunda tam bu olur, anlamlı sonuçların yüzde 53'ü sahte. Yani kazananlarının yarısından fazlası kazanan değil.

İkincisi kazananın laneti. Kohavi'nin anlattığı mekanizma şu: düşük güçte anlamlı çıkan bir sonuç, gerçek etkiyi sistematik olarak abartır. Ölçeği için Georgi Georgiev'in 1.001 gerçek A/B testini incelediği çalışmaya bak: tüm testlerin medyan etkisi yüzde 0,08, neredeyse sıfır; “kazanan” ilan edilen testlerde ortalama etki yüzde 15,9. Georgiev yüksek kazanan payını (yüzde 33,5) test edilen fikirlerin ve uygulamanın görece yüksek kalitesine bağlıyor; düşük güçle birleştiğinde panodaki rakamın üretimde neden küçüldüğünü açıklayan mekanizma lanetin kendisi (yorum).

Üçüncüsü bakma alışkanlığı. Evan Miller'ın 2010'daki simülasyonunda, her gözlemden sonra “anlamlı oldu mu” diye bakıp anlamlı olduğu anda durursan, yüzde 5 diye tasarladığın yanlış pozitif oranı yüzde 26'ya çıkıyor. Ne kadar sık bakarsan oran o kadar büyür. Haftada on deney koşan bir ekip, on panoya her gün bakar. Yapay zekâ panoları da ucuzlattı.

Bir de yenilik etkisi var. Microsoft'un deney platformunun 2024 analizine göre on dört günlük sonuçların yüzde 9'u, yedi günlük sonucun güven aralığının dışına düşüyor; beklenen yüzde 5. Hızlı koşulan, hızlı kapatılan deneyler ilk haftanın heyecanını ölçer, davranışı değil.

Bunların hiçbiri yapay zekânın suçu değil. Hepsi eskiden de vardı. Yapay zekâ yalnız bunları on kat hızlı üretmeni sağladı.

İmza sorusu

Her deneyi başlatmadan önce tek bir soru sor: “Bu deneyin aradığı etkiyi görecek trafiğim var mı? Yoksa bunu neden yapıyorum?”

Bu soru ekibin yarısını rahatsız eder, çünkü cevap çoğu zaman “yok”. O zaman seçenek ikidir: ya daha büyük bir etki ara, ya da deney yapma ve başka türlü öğren. İkisi de meşru. Meşru olmayan, cevabı bilmeden koşmak.

Hesabı kafadan yapmak zorunda değilsin. /tools/experiment-capacity (Deney Kapasitesi Hesaplayıcısı) sana aylık trafiğinle baz dönüşümünü ve aradığın en küçük etkiyi sorar; bir deneyin kaç hafta süreceğini, ayda kaç güvenilir karar verebileceğini ve gücün düştüğünde sahte kazanan oranının nereye çıkacağını gösterir.

Düşük trafikte ne yapılır

Trafiğin yoksa deney kültürünü bırakacak değilsin. Ama deney sayısını değil, trafik başına kararı artıracaksın. Beş adım.

Birinci adım: büyük bahis. Yüzde 3'lük buton rengi etkilerini bırak. Trafiğin yalnız yüzde 20 ve üstü etkileri görebiliyorsa, yalnız yüzde 20 ve üstü etki yaratabilecek değişiklikleri test et: onboarding akışının tamamı, fiyat sayfası yapısı, ilk değer anına giden yol. Küçük bahisleri test etme, karar ver ve geç.

İkinci adım: önceden kayıt. Deneyi başlatmadan etki eşiğini ve süreyi yaz. Kohavi'nin önerisi tam olarak bu: deney sistemi kullanıcıyı en küçük anlamlı etkiyi önceden kaydetmeye teşvik etmeli. Yazılı eşik, bakma alışkanlığının panzehiri.

Üçüncü adım: en az iki hafta. Yenilik etkisi için Kohavi'nin 2014'ten beri önerdiği kural. Hızlı kapatılan deney, hızlı yanılır.

Dördüncü adım: varyansı düşür. Deneyi daha uzun koşmak yerine ölçümü daha keskin yapabilirsin. Kullanıcının deney öncesi davranışını kovaryat olarak kullanan yöntemler, aynı trafikle daha küçük etkileri görmeni sağlar. Bu, düşük trafikli ekibin en az bilinen kaldıracı.

Beşinci adım: bekletme grubu. Kişiselleştirme ve ajanlı akışlar devreye girince tek tek varyantları ölçmek anlamını yitirir; herkese farklı şey gösteriyorsun. O zaman kullanıcıların bir kısmını aylarca yeni özelliklerin dışında tut ve sistemin toplam etkisini ölç. Statsig belgelerine göre holdout genelde yüzde 1 ila 2; düşük trafikte bu pay anlamsız kalır, yüzde 10 ve üstü gerekir (yorum). Pahalıdır. Kontrolsüz kişiselleştirme daha pahalıdır.

Üç desen

Üç yaygın yanlış desen var (yorum); kendi panonda ara.

Deney sayısı metriği. Sprint raporunda “bu ay 40 deney koştuk” yazıyorsa, ekip deneyi çıktı sanıyor. Deney girdidir. Çıktı, değişen karardır. Raporuna “bu ay güvenilir sonuçla kaç karar değiştirdik” satırını ekle. Bu sayının küçük çıkması normaldir (yorum).

Kazanan koleksiyonu. Her ay üç dört “kazanan” ilan ediliyor ama yıl sonunda dönüşüm oranı yerinde duruyorsa, kazananların laneti çalışıyor. Kazananları altı ay sonra yeniden ölç; çoğunun etkisi küçülür (yorum).

Panoya bakma yarışı. Deneyler planlanan süreden önce “anlamlı olunca” kapanıyorsa, yanlış pozitif oranın yüzde 5 değil; Miller'ın simülasyonunda yüzde 26'ya kadar çıkıyor. Deneyi kapatma yetkisini takvimden başka kimseye verme.

Yol haritası

İlk hafta: Son üç ayın deneylerini say. Her biri için varyant başına kaç kullanıcı gördüğünü ve o trafikle görebileceği en küçük etkiyi hesapla. Sonucu ekibe göster. Çoğu deneyin hiçbir şey söyleyemeyecek durumda olduğunu birlikte görmek, bu yazıdan daha ikna edicidir.

İkinci hafta: Deney şablonuna üç zorunlu alan ekle: aranan en küçük etki, gereken örneklem, planlanan bitiş tarihi. Bu üçü yazılmayan deney başlamaz.

Birinci ay: Deney kuyruğunu etki büyüklüğüne göre yeniden sırala. Trafiğinin göremeyeceği etkileri kuyruktan çıkar; onları deneysiz karara bağla. Kalanları sırayla, tam trafikle koş.

Üçüncü ay: Yapay zekânın sana kazandırdığı zamanı kurma yerine bilmeye harca. Olay şemasını düzelt, kovaryatları hazırla, holdout grubunu kur. Yapay zekâ burada da yardımcı; analiz kodunu yazdır, cohortları çıkarttır. Darboğaz taşındıysa yatırım da taşınmalı.

Beklenti ayarı

Bu yolu izlersen deney sayın düşecek. Belki haftada ondan ayda üçe. Ekip bunu gerileme gibi hissedecek. Değil. Kohavi'nin aktardığına göre Bing'de deneylerin çoğu başarısız oluyor, Microsoft genelinde yaklaşık üçte biri başarıyor ve başaranlar ana metrikleri yüzde 0,1 ile yüzde 1 arasında iyileştiriyor. Dünyanın en büyük deney platformlarında bile öğrenme yavaş ve pahalıdır. Senin ürününde de öyle olacak. Fark, yavaşlığı kabul edip güvenilir öğrenmek ile hızlı koşup sahte öğrenmek arasında.

Yapay zekâ sana bir şey verdi: kurmanın maliyetini sıfırladı. Bu, serbest kalan zamanı bilmeye yatırırsan büyük bir hediye. Daha çok deney kurmaya yatırırsan yalnız daha büyük bir pano. Hangisini seçtiğin, altı ay sonra panoya değil, gelir tablosuna yazılacak.

Kalınız sağlıcakla.

Kaynaklar

Ron Kohavi, Alex Deng, Lukas Vermeer, “A/B Testing Intuition Busters: Common Misunderstandings in Online Controlled Experiments”, KDD 2022: https://bit.ly/ABTestingIntuitionBusters

Ron Kohavi, Alex Deng, Roger Longbotham, Ya Xu, “Seven Rules of Thumb for Web Site Experimenters”, KDD 2014: https://exp-platform.com/Documents/2014%20experimentersRulesOfThumb.pdf

Georgi Georgiev, “What Can Be Learned From 1,001 A/B Tests?”, 2022: https://blog.analytics-toolkit.com/2022/what-can-be-learned-from-1001-a-b-tests/

Evan Miller, “How Not To Run an A/B Test”, 2010: https://www.evanmiller.org/how-not-to-run-an-ab-test.html

Microsoft Experimentation Platform, “External Validity of Online Experiments: Can We Predict the Future?”, 2024: https://www.microsoft.com/en-us/research/articles/external-validity-of-online-experiments-can-we-predict-the-future/

Statsig, “Holdouts”, ürün belgeleri: https://docs.statsig.com/experiments/holdouts-introduction