Alp SuleimanGrowth Partner

Growth Deneme Döngüsü

Çoğu ekip A/B test yapar, çok azı öğrenir. Deneme döngüsü bir araç değil, haftalık bir yönetim ritmi; ve değer, kazanan testlerde değil, biriken bilgide.

StartupStrateji 13 / 884 dk okuma

Yazar: Yayın Güncelleme

Diyelim ki bir ekibe growth deneme programını soruyorsunuz ve karşınıza bir Notion tablosu çıkıyor. Kırk satır, altı sütun, bir “kazandı/kaybetti” kolonu. Sonra şunu soruyorsunuz: “Geçen çeyrekte öğrendiğiniz en önemli şey neydi?” Cevap gelmiyor. Çünkü tablo test kaydediyor, öğrenme kaydetmiyor.

Deneme döngüsü, birkaç buton rengini değiştirip kazananı seçmek değildir. Bir organizasyonun belirsizlikle nasıl başa çıktığının kuralıdır: neye inanıyoruz, neyi test ediyoruz, sonuç ne olursa ne yapacağız.

Ne zaman ihtiyacınız var?

Sinyaller basit. Büyüme toplantılarında kararlar en yüksek sesli kişinin fikriyle veriliyor. Aynı fikirler aylar arayla tekrar tekrar tartışılıyor çünkü kimse “bunu denedik, şu çıktı” diyemiyor. Ya da elinizde yapılacak çok şey var ama hangisinin önce geleceği konusunda ortak bir ölçüt yok.

Henüz erken olduğunuz durum da net: trafiğiniz ve olay sayınız istatistiksel olarak anlamlı bir test için yetersizse. Haftada birkaç yüz ziyaretçiyle yapılan A/B testi, yazı tura atmanın daha pahalı bir yoludur. Bu aşamada deneme döngüsünün ucuz hâli geçerli: kullanıcıyla konuşmak, öncesi-sonrası karşılaştırmak, küçük ama güçlü etkilere bakmak.

Çoğu ekibin atladığı nokta

Ekipler deneyi bir sonuç üretme işi sanır. Oysa deneyin asıl çıktısı, tahmin ile gerçeklik arasındaki farkın kaydıdır.

Her deneme, başlamadan önce bir tahminle yazılmalıdır: “Bu değişiklik kayıt-aktivasyon oranını yüzde X ile Y arasında artırır, çünkü Z'ye inanıyoruz.” Test bitince önemli olan “kazandı mı?” değil, “tahminimiz neden tutmadı?” sorusudur. Zamanla ekip, kendi sezgisinin nerede güvenilir nerede güvensiz olduğunu görür. Bu, growth'un en değerli ve en az konuşulan birikimidir.

Deneme sayısı bir verimlilik göstergesi değil, bir kalite sorusunun cevabıdır: her deneme bir sonrakini daha iyi tahmin etmenizi sağlıyor mu?

Bunu growth hacking döngüsünden ayıran şey de bu. Orada amaç huni içindeki en dar boğazı bulup hızla açmak. Burada ise amaç, hangi tür bahsin sizin ürününüzde işe yaradığını öğrenen bir sistem kurmak. Biri taktik, diğeri bilgi altyapısı.

Bunun pratik bir sonucu daha var: deneme döngüsünün gücü, ekibin kaybetmeyi nasıl karşıladığıyla ölçülür. Başarısız deneyi sunan kişi azarlanıyorsa, bir sonraki toplantıda kimse riskli bir hipotez getirmez; herkes zaten kazanacağını bildiği küçük testlere yönelir. Büyüme tablosu güzel görünür ama öğrenme durur. Döngüyü yöneten kişinin ilk işi, “yanlış çıktı ve bu bize şunu öğretti” cümlesini güvenli hale getirmektir. Bu kültürel zemin olmadan hiçbir çerçeve, hiçbir araç işe yaramaz.

Uygulama planı

1. Tek bir hedef metriğe kilitlenin

Ekibin bu çeyrek tek bir sayıyı hareket ettirmesi gerekir: aktivasyon, ilk haftadaki tekrar kullanım, deneme-ücretli dönüşümü gibi. Beş metriğe birden bakan ekip hiçbirini hareket ettirmez. Metriği seçerken kural: ürünün değer anına ne kadar yakınsa o kadar iyi.

2. Fikir havuzu ve puanlama

Fikirleri tek bir listede toplayın, her biri için ICE (Impact, Confidence, Ease) ya da RICE gibi basit bir skor verin. Skor mükemmel değil, amacı tartışmayı yapılandırmak. Güven puanını verirken şu kuralı koyun: kanıt yoksa güven düşüktür; “bence” kanıt sayılmaz. Düşük güvenli ama yüksek etkili fikirler için önce ucuz bir kanıt toplayın (kullanıcı görüşmesi, oturum kayıtları, mevcut verinin kesiti).

3. Hipotezi yazılı hale getirin

Her deney için tek sayfalık bir kayıt: ne değişiyor, hangi kitle, hangi metrik, beklenen etki aralığı, gerekli örneklem ve süre, sonucu ne yapacağınız. Son madde en kritiği: “Kazanırsa herkese açarız, kaybederse şunu yaparız, belirsiz çıkarsa şunu yaparız.” Sonuç gelmeden karar kuralı yazılmazsa, sonuçla birlikte yorum da şekil değiştirir.

4. Örneklemi baştan hesaplayın

Testi başlatmadan önce minimum tespit edilebilir etkiyi (MDE) ve gereken örneklemi hesaplayın. Sonuçlara bakıp “anlamlı çıktı” diye erken durdurmak, yanlış pozitiflerin en büyük kaynağıdır. Süre dolana kadar bakmak serbest, karar vermek değil.

5. Haftalık ritim

Her hafta aynı saatte kırk beş dakikalık toplantı: biten deneyler, öğrenilenler, yeni başlayanlar. Bir kişi (genelde growth lead) döngünün sahibidir ve toplantının çıktısı bir “öğrenme günlüğü” satırıdır: “Şunu sandık, şu çıktı, bu yüzden şunu yapacağız.”

6. Öğrenme günlüğünü ürün kararlarına bağlayın

Aylık olarak günlüğü tarayın: tekrar eden desenler var mı? Örneğin “ücret şeffaflığı denemeleri hep kazandı”, “bildirim sıklığı artırma denemeleri kısa vadede kazanıp 60. günde kaybetti.” Bu desenler roadmap'in girdisi olmalı, growth ekibinin dışında da okunmalı.

Neyi ölçmeli?

  • Haftalık tamamlanan deney sayısı: Ritmin sağlığı. Öncü gösterge, ama tek başına yanıltıcı.
  • Tahmin isabeti: Tahmin ettiğiniz etki ile ölçülen etkinin farkı. Zamanla daralıyorsa öğreniyorsunuz.
  • Kazanma oranı: Sağlıklı programlarda genelde azınlıktır; yüzde 70 kazanıyorsanız fazla güvenli bahisler oynuyorsunuzdur.
  • Hedef metrikteki birikimli hareket: Gecikmeli gösterge. Testlerin toplamı gerçekten ana metriği oynatıyor mu?

Tuzaklar

Test etme hastalığı. Her şeyi test etmek, aslında bir karar vermeye cesaret edememektir. Net derecede kötü bir deneyimi düzeltmek için A/B teste gerek yok.

Yerel maksimumda sıkışmak. Başlık, renk ve buton metni testleri küçük kazançlar üretir. Ama büyük sıçramalar çoğu zaman fiyatlandırma, onboarding mimarisi ya da konumlandırma gibi “test etmesi zor” alanlardan gelir. Portföyünüze bilinçli olarak birkaç büyük bahis koyun.

Etkileşim etkisini unutmak. Aynı anda aynı kitlede çakışan testler birbirinin sonucunu bozar. Hangi testlerin hangi kitleye dokunduğunu bir takvimde görün.

Kaybedenleri gömmek. Başarısız deneyler kaydedilmezse üç ay sonra aynı fikir yeniden önerilir. Kaybeden deneyin kaydı, kazanandan daha değerli olabilir.

Bu hafta başlayın

  1. Önümüzdeki çeyrek için tek bir hedef metrik seçin ve ekibe yazılı olarak duyurun.
  2. Son altı ayda yaptığınız beş denemeyi alın ve her biri için tek cümleyle “ne öğrendik?” yazın. Yazamıyorsanız, kayıt sisteminiz eksik demektir.
  3. Önümüzdeki hafta başlayacak tek bir deney için tahmin, örneklem ve karar kuralını yazılı hale getirin.

Uygulama

Bu stratejiyi şirketinize uyarlayalım.

Hangi evrede olduğunuzu ve bu stratejinin sizin için doğru kaldıraç olup olmadığını birlikte netleştirelim.

↑ Tüm stratejiler