Experiment Inflation
Deney Enflasyonu
Varyant üretmek ucuzlayınca deney sayısının artması, ama trafik aynı kaldığı için deney başına düşen örneklemin ve gücün düşmesi; görünen deney hızı artarken gerçek öğrenme hızının artmaması (bu sitenin tanımı).
Yapay Zekâ ve BüyümeKavram 81 / 81
Pratikte
Yapay zekâ kurmayı bedavalaştırdı, bilmeyi bedavalaştırmadı: örneklem formülünde varyantı kimin yazdığı yoktur, yalnız trafik, baz oran ve etki vardır (yorum). Aynı sayfada haftada on deney, her birine yetmeyen trafik demek; sonuç daha çok yanlış pozitif ve abartılı kazanan. Doğru ölçü deney sayısı değil, trafik başına değişen karar sayısıdır (yorum). Kohavi'nin düşük güç tablosu ve Georgiev'in 1.001 testlik incelemesi (medyan etki yüzde 0,08) bu mekanizmanın iki ucunu gösterir (yorum).