Statistical Power
İstatistiksel Güç
Bir deneyin, gerçekten var olan bir etkiyi yakalama olasılığı. Örneklem büyüklüğüne, metriğin varyansına ve görmek istenen en küçük etkiye bağlıdır; Kohavi, Deng ve Vermeer'in pratik kuralı varyant başına n = 16σ²/δ² kullanıcıdır (yüzde 95 güven, yüzde 80 güç).
Büyüme KavramlarıKavram 80 / 81
Formül
Varyant başına kullanıcı ≈ 16 × σ² ÷ δ²; dönüşüm için σ² = p(1−p), δ = p × göreli etki
Pratikte
Düşük güçlü deney yalnız etkiyi kaçırmaz; anlamlı çıkan sonuçların güvenilirliğini de düşürür. Kohavi'nin tablosu: deneylerin yüzde 10'u gerçekten kazanırken güç yüzde 80'den yüzde 20'ye düşerse anlamlı sonuçların yüzde 52,9'u yanlış pozitif olur. Düşük trafikli bir ürün için çıkarım basit: daha çok deney değil, daha az ve daha büyük deney (yorum). Deney Kapasitesi aracı bu hesabı kendi trafiğin için yapar.