Araç · Ölçmek
Bu trafikle yılda kaç güvenilir karar verebilirsin?
Yapay zekâ varyant üretmeyi bedavalaştırdı; trafiğini artırmadı. Bu araç, sayfanın ya da akışın gerçek trafiğiyle bir deneyin kaç hafta sürmesi gerektiğini, yılda kaç güvenilir karara yettiğini ve bu trafikte göremeyeceğin etkileri hesaplar.
Kohavi, Deng, Vermeer (KDD 2022) formülü · rakamlar adres çubuğuna yazılır, paylaşılabilir
Girdiler
Yılda güvenilir karar: 1 · Bir deneyin süresi: 33,4 hafta
Sonuç
Yılda güvenilir karar: 1
Yılda güvenilir karar
1
Aynı akışta art arda. Katmanlı paralel deneylerde de her deney aynı örneklemi bekler.
Bu etkiyi bu trafikte görmek bir çeyrekten uzun sürer.
Yılda en fazla üç karar demek. Ya daha büyük bir etki hedefle, ya daha yukarıdaki bir adımı ölç (daha çok kullanıcı, daha yüksek oran), ya da A/B yerine önce/sonra ve holdout gibi daha kaba ama dürüst yöntemlere geç.
Yıl takvimi
Güvenilir karar: 1
Bir deneyin süresi
33,4 hafta
Haftalık 4.615 kullanıcı, deney başına 153.839 kullanıcı.
Varyant başına kullanıcı
76.920
Kohavi: n = 16σ²/δ² kısayolu; bu araç katsayıyı seçtiğin güven ve güçten hesaplar.
Anlamlı sonuçların yanlış pozitif payı
%22
Yüzde 10 kazanan oranı ve yüzde 80 güçte. Kohavi 2022, Tablo 2 mantığı.
Bu trafikte göremeyeceklerin
Süreyi sabitlersen görebileceğin en küçük göreli etki şudur. Altındaki kazanımlar gürültüden ayırt edilemez.
2 haftada
%40,8
4 haftada
%28,9
13 haftada (bir çeyrek)
%16
İmza soru
Bu trafikle gördüğün yüzde 10'lik kazanımı yarın aynı koşullarda yeniden ölçsen, görür müydün?
Hesap, dönüşüm oranı gibi ikili bir metrik ve eşit bölünmüş varyantlar varsayar. Gelir gibi sürekli metriklerde varyans ayrıca ölçülür. Sonuç yön gösterir; deney platformunun kendi güç hesabının yerine geçmez. Değerler adres çubuğundaki bağlantıya yazılır.
Yöntem
Formül nereden geliyor?
Örneklem, Kohavi, Deng ve Vermeer'in KDD 2022 makalesindeki pratik kurala dayanır: n = 16σ²/δ². n varyant başına kullanıcı sayısı, σ² metriğin varyansı, δ görmek istediğin en küçük mutlak fark. Dönüşüm oranı için σ² = p(1−p), δ = p × göreli etki. Makaledeki örnek: yüzde 3,7 dönüşümde yüzde 10 göreli etki için varyant başına 41.642 kullanıcı. 16 katsayısı yüzde 95 güven ve yüzde 80 güç için yuvarlanmış değerdir (tam değeri 15,7); bu araç katsayıyı seçtiğin ayardan hesaplar.
Bir deneyin süresi, deney başına toplam kullanıcının haftalık trafiğe bölünmesidir; iki haftanın altına inmez. Microsoft ExP'nin 2024 çalışmasına göre 14 günlük sonuçların yüzde 9'u, 7 günlük sonucun yüzde 95 güven aralığının dışına düşüyor; beklenen yüzde 5. Yılda güvenilir karar sayısı 52 haftanın bu süreye bölümüdür.
Yanlış pozitif payı, aynı makalenin 'düşük güçlü deneyler güvenilir değildir' bölümündeki mantıktır: anlamlı çıkan sonuçların içinde gerçek olmayanların payı, kazanan deney oranına ve güce bağlıdır. Yüzde 10 kazanan oranı ve yüzde 80 güçte anlamlı sonuçların yüzde 22'si yanlış pozitiftir; güç yüzde 20'ye düşerse yüzde 52,9'u. Deney enflasyonu sınaması, planladığın tempoda her deneye düşen örneklemle gerçek gücü hesaplar ve bu payı yeniden çıkarır.
Sonuca bakarken dur: Evan Miller'ın 2010'daki hesabına göre her gözlemde anlamlılığa bakıp anlamlı olunca durmak yüzde 5'lik hedefi yüzde 26'lık gerçek yanlış pozitif oranına çevirir. Sıralı test (Johari, Pekelis, Walsh) buna izin verir; sabit örneklemli deneyde izin yoktur.
Bu aracın arkasındaki düşünce: görünen deney hızı ile gerçek öğrenme hızı aynı şey değildir. Deney Enflasyonu →
Sık sorulanlar
Yapay zekâ ile haftada on varyant çıkarabiliyoruz. Bu aracın söylediği neden değişmiyor?
Çünkü örneklem, varyantı kimin yazdığına bağlı değil. Formülde yapay zekâ yok: trafik, baz oran ve görmek istediğin etki var. Kurmak bedavalaştı, bilmek bedavalaşmadı. Varyant sayısını artırmak trafiği böler; deney başına güç düşer.
Paralel deney yapıyoruz; yılda sayı neden art arda hesaplanıyor?
Katmanlı altyapıda birden çok deney aynı trafiği paylaşabilir, ama her deney kendi örneklemini yine aynı trafikten bekler. Darboğaz 'kaç deney aynı anda' değil, 'her deney kaç hafta ve hangi etki büyüklüğünde'. Aynı sayfada ya da akışta çakışan deneylerde ise etkileşim riski ayrıca vardır.
Sonuç 'bu trafikte görülmez' diyor. Ne yapmalıyım?
Üç yol: daha büyük bir değişiklik yapıp daha büyük etki ara; huninin daha yukarısındaki, daha çok kullanıcı gören bir adımı ölç; ya da A/B yerine önce/sonra kıyası, cohort izleme ve holdout gibi daha kaba ama dürüst yöntemlere geç. Küçük iyileştirmeleri ölçmeden, ilkeyle karar vermek de bir yöntemdir; tören niyetine A/B testi değildir.
Baz dönüşüm oranım yüzde 0,5 gibi çok düşük. Araç doğru çalışır mı?
Çalışır, ama gerekli örneklem çok büyür; düşük oranlı metriklerde etkiyi görmek orantısız trafik ister. Çoğu zaman doğru cevap, daha yukarıdaki bir ara metriği (örneğin ödeme sayfasına ulaşma) ölçmektir. Bu, Kohavi'nin 'hassas vekil metrik' önerisiyle aynı yöndedir.
Kazanan payını neden soruyorsunuz?
Çünkü anlamlı çıkan bir sonucun gerçek olma olasılığı, deneylerinin kaçının gerçekten işe yaradığına bağlıdır. Kohavi'nin aktardığı büyük şirket oranları yüzde 8 ile yüzde 33 arasında. Kendi oranını bilmiyorsan yüzde 10 makul bir başlangıç; iyimser bir tahmin aracı da iyimser yapar.
Gelir ya da sepet tutarı gibi bir metrik için kullanabilir miyim?
Bu sürüm dönüşüm gibi ikili bir metrik varsayar; varyansı p(1−p) ile kurar. Sürekli metriklerde varyansı kendi verinden ölçüp aynı formüle koymak gerekir. Varyans azaltma (CUPED gibi) teknikleri de örneklemi düşürür; burada hesaba katılmaz.
Kaynaklar
- [1]Kohavi, Deng, Vermeer: A/B Testing Intuition Busters, KDD 2022 (örneklem formülü, düşük güç ve yanlış pozitif tablosu)
- [2]Microsoft ExP: External Validity of Online Experiments, 2024 (7 günlük sonucun 14 günü her zaman öngörmemesi)
- [3]Evan Miller: How Not To Run an A/B Test, 2010 (tekrarlı anlamlılık bakışı)
- [4]Johari, Pekelis, Walsh: Always Valid Inference, 2015 (sıralı test)
- [5]Georgiev: What Can Be Learned From 1,001 A/B Tests?, 2022 (medyan etki ve kazananlarda ortalama etki)
- [6]Statsig docs: Power Analysis (en küçük görülebilir etki tanımı)