Lean Marketing üzerinde daha önce paylaşmış olduğumuz A/B Testing ve CRO sürecinin temelleri içeriğine sunum olarak buradan ulaşabilirsiniz. Yüsek tempolu A/B testing süreci ile internet siteniz ve mobil uygulamanızdan aldığınız sonuçları sistematik bir şekilde artırabilirsiniz. Daha fazla bilgi ve destek için: http://growthhacking.studio

1. A/B Testing ve
CRO 101
Growth Hacking Studio

2. İçindekiler
1. A/B Testing Nedir?
2. Başarılı A/B Testing Süreci Nasıl Olmalı?
3. En Popüler A/B Testing Araçları
4. Test Sonuçları Nasıl Okunmalıdır?
5. Örnek A/B Testing Süreçleri

3. A/B Testing Nedir?

4. A/B Testing Nedir?
İnternet siteniz veya mobil uygulamanız kullanıcılarla etkileşimde
olduğunuz alanlardır. Bu alanların içeriği ve yapısı kullanıcı kitlenizin
davranışı üzerinde büyük bir etkisi vardır. Pazarlama ve büyüme ekipleri
olarak sayfanızı ziyaret eden kullanıcıların hiçbir problem ile
karşılaşmaması ve en yüksek oranda belirlediğimiz hedefleri yerine
getirmelerini isteriz.

5. A/B Testing Nedir?
A/B testing bu noktada bize yardımcı olan bir test bir tekniğidir.
Kullanıcıları iki gruba ayırırız. 1. grup kontrol grubu olarak ele alırız ve
mevcut internet sitemiz/mobil uygulamamızı görmesini sağlarız. 2. grup
ise test yapmış olduğumuz gruptur. Bu gruptada kullanıcılarımızın
davranışlarını iyileştireceğini düşündüğümüz değişiklikleri görmelerini
sağlarız.

6. A/B Testing Nedir?

7. A/B Testing Neden Önemli?
Pazarlama ve büyüme ekiplerinin ortak amaçları gün sonunda internet
siteleri veya mobil uygulamaları aracılığı ile iş açısından daha etkili
sonuçlar üretilmesini sağlamaktır. Daha önceleri paylaştığımız AARRR
stratejisi büyüme için bize çeşitli fırsat alanları sunar. Bugün hem
Türkiye’de hem de dünya genelinde AARRR üzerinde en çok durulan ve
işletmeler için en büyük fırsatları sunan alanlar Acquisition (Kazanım) ve
Activation (Aktifleştirme) katmanlarıdır.

8. A/B Testing Neden Önemli?
Büyümek isteyen işletmeler için yeni pazarlama kanalları bulmak ve yeni
kanallar ile kullanıcılara ulaşmak büyük yatırımlar gerektiren çalışmalardır.
Diğer taraftan aktifleştirme katmanı üzerinde yapılan çalışmalar pazarlama
bütçeniz ve çalışmalarınızı hiç değiştirmeden internet siteniz veya mobil
uygulamanızdan daha fazla gelir elde etmenizi sağlar.

9. A/B Testing Neden Önemli?
Trafik Dönüşüm Oranı Ortalama Sepet Tutarı Gelir
100,000 %1 120 TL 120,000 TL
100,000 %1.1 120 TL 132,000 TL
100,000 %1.2 120 TL 144,000 TL

10. A/B Testing Neden Önemli?
Şimdi A/B testingin bu süreçte oynadığı role bakalım.
İnternet sitemiz veya mobil uygulamamız üzerinde hepimizin çeşitli fikirleri
var. Bu fikirlerin çeşitli kaynakları olabilir. Rakipleri incelemek, kullanıcılardan
alınan geri bildirimler, dünyadaki başarılı örnekler veya tamamen kişisel
düşünceler bu fikirlerin kaynakları olabilir.
Her işletme ve kullanıcı kitlesi kendine özel özellikleri olduğu için bu fikirlerin
doğruluğunu gerçekten kullanıcılarınızın deneyimlerine sunmadan görmenin
imkanı yoktur. Rakiplerin uyguladığı fikirler sizin için çok zararlı olabilir. Kişisel
düşünceleriniz kullanıcıların istedikleri ve beklentilerinin tam zıttı çıkabilir.

11. A/B Testing Neden Önemli?
Bu yüzden A/B testing aktivasyon sürecini üzerine çalışmanın en etkili yoludur.
İnternet siteniz veya mobil uygulamanız üzerinde kullanıcılarınız için daha etkili ve
daha elverişli hale getirebileceğiniz sonsuz fikir vardır. Bu fikirlerle ilgili iki büyük
problem vardır.
1. Bu fikirleri yazılım ekiplerinin uygulaması uzun zaman alabilir.
2. Hangi fikirin daha iyi bir sonuç getireceğini tahmin edebilmek elde gerçek kullanıcı
verileri olmadan tamamen bir tahminden ibaret kalır.
A/B testing buradaki iki sorunu da çözer. Teknik ekiplerin çalışmalarını beklemeden
bazı değişiklikleri hayata geçirebilmeyi ve nasıl etki ettiğini görebilmeyi sağlar. Diğer
yandan da yapılan değişikliğin etkisi gerçek kullanıcı datası ile net olarak ortaya çıkarır.

12. Başarılı Bir A/B Testing
Süreci Nasıl Olmalı?

13. Başarılı Bir A/B Testing Süreci Nasıl Olmalı?
Başarılı bir test sürecinin en önemli bölümü
test edilecek hipotezlerin geliştirildiği
araştırma alanıdır. Başarılı bir hipotez
geliştirme üç adımdan oluşur.

14. Başarılı Bir A/B Testing Süreci Nasıl Olmalı?
İlk olarak çözmek istediğiniz problemi keşfetmeniz gerekmektedir. Bu noktada
işletmenize ait önemli metrikleri ve KPI’ları çıkarmış olmanız büyük ölçüde önemlidir.
Kullanıcı akışı ve KPI’ları çıkardığınızda büyümenizi etkileyen adımların neler
olduklarını ve büyümeniz üzerinde en büyük etkiye sahip alanın hangisi olduğunu net
bir şekilde görme şansını yakalamış olursunuz.
İkinci adım yapmanız gereken araştırmalardır. Bu alanda hem kullanıcılara ait analitik
kullanıcı verilerini büyük ölçüde değerlendirmeniz hem de kullanıcı araştırmaları,
kullanıcılardan gelen geri bildirimler ve anketleri değerlendirmeniz önemlidir. Bütün
bunları yaptığınızda problem çözümüne ait birçok farklı fikirleri yakalamış olacaksınız.

15. Başarılı Bir A/B Testing Süreci Nasıl Olmalı?
Üçüncü aşamada artık net olarak hipotezini geliştirmeniz gerekmektedir. Başarılı bir
hipotezin üç temel konuyu içermesi gerekmektedir.
İlk olarak hangi içgörü ve analize göre hipotezi oluşturduğunuz hipotezde bulunmalı.
Bu içgörü, analizden yola çıkarak düşündüğünüz değişiklik hipotezde bulunmalı.
Son olarak ise hangi metrik(ler) için nasıl bir etki beklediğiniz hipotezde bulunmalı.
Örnek bir hipotez paylaşmak gerekirse;
Kullanıcıların paketler arasındaki fiyat avantajını net olarak anlamaması içgörüsüne
dayanarak paket gösterimlerinde fiyat avantajların daha açık bir şekilde
gösterilmesinin, paket seçim oranını ve ek paket satın alma oranını artıracağını
düşünüyoruz.

16. Başarılı Bir A/B Testing Süreci Nasıl Olmalı?
Bu örnek hipotezde “Kullanıcıların paketler arasındaki fiyat avantajını net
olarak anlamaması” bölümü içgörü kısmını “paket gösterimlerinde fiyat
avantajların daha açık bir şekilde gösterilmesinin” kısmı düşünülen değişikliği,
“paket seçim oranını ve ek paket satın alma oranını artıracağını
düşünüyoruz” kısmı ise testten beklenen sonucu ifade etmektedir.
NOT: Hipotez oluşturmadan yapacağınız bütün testler sadece kumar oynamaktır.
Rastgele görmüş olduğunuz başarı hikayelerini kopyala/yapıştır ile test ederek
kendiniz için test etmeniz ve bundan başarı elde edebilmeniz imkansızdır.

17. A/B Testing Araçları

18. Google Analytics
Google Analytics bir analiz aracı olarak aynı zamanda test
içinde ücretsiz kullanım imkanı sağlıyor. Sadece Google
Analytics A/B testing kurgusunun gelen kullanıcıları farklı
linklere gönderilerek çalıştığını hatırlamalısınız. Bu yüzden
Google Analytics’i form kazanımı yaptığınız karşılama
sayfaları, üyelik sayfaları, ödeme sayfası gibi alanlarda
rahatlıkla kullanabilirsiniz. Bunun yanında e-ticaret sitenizin
ürün sayfalarında bir test yapmak istediğinizde Google
Analytics ile A/B testing yapıyor olmak size istediğiniz
sonuçları sunmaz.
Google Analytics ile A/B testini adım adım nasıl kuracağınızı
öğrenmek isterseniz buraya tıklayarak ilgili makaleme
ulaşabilirsiniz.

19. Google Optimize
Google’ın yakın zamanda bütün kullanıcıların
kullanımına ücretsiz olarak sunduğu araç. Optimize A/B
testing ve optimizasyon dünyasında büyük bir ses
getirdi. Google Optimize ile hem Javascript aracılığı
ile sayfa üzerinde testleri çalıştırabilir hem de Google
Analytics’te yapmış olduğunuz gibi kullanıcıları iki farklı
URL’ye yönlendirerek testlerinizi gerçekleştirebilirsiniz.
Google Optimize’ı internet sitenize nasıl kuracağınız ve
adım adım ilk testinizi nasıl hayata alacağınızı Lean
Marketing’teki makalem üzerinde açıklamıştım.
Detayları öğrenmek için yazıma gidebilirsiniz.

20. Optimizely
A/B testing konusunda uzun yıllardır hizmet
veren bir diğer araç Optimizely. Test
platformu olmasının yanında kişiselleştirme
üzerine de birçok özellik sunuyor. Kurulumu
aynı diğer araçlar gibi tek satırlık bir kod ile
gerçekleşiyor. Bu aracı ücretsiz olarak
deneyebilseniz de düzenli olarak
kullanabilmek için Optimizely ekibinden
teklif almanız ve sonrasında satın almayı
gerçekleştirmeniz gerekiyor.

21. VWO
Ele alacağımız bir diğer test aracı Visual Website
Optimizer. VWO’da Optimizely ve Google
Optimize’a benzer bir araç. Sayfanız üzerinde
dinamik testler yapabildiğiniz gibi gelen
kullanıcıları farklı linklere yönlendirerek de testler
yapmanıza olanak sağlıyor. Test platformu
olmasının yanında size kullanıcılarınızın
davranışlarını analiz etmenizde yardımcı olacak
bazı araçları da kullanıma sunuyor. Aylık ziyaretçi
sayınıza göre değişen paket seçenekleri sunuyor.
Aylık 49$ ile 999$ arasında ödemeniz gereken
tutar değişiyor.

22. Test Sonuçları Nasıl
Analiz Edilir?

23. Test Sonuçları Nasıl Analiz Edilir?
Yüksek tempo ile test süreci yöneten birçok şirketin ortaya koyduğu rakamlar bize
gerçekleştirilen her 10 testten sadece 2 tanesinin başarılı olduğunu gösteriyor. Geriye kalan 8
test kendisi içerisinde iki farklı kategoriye ayrılıyor.
Başarısız olan testler hipotezde beklenin tersi yönde etki gösterirler. Örneğin hipoteziniz
yapacağınız değişikliklerle ödeme akışında bir sonraki adıma geçen kullanıcı sayısını artırmak iken
test sonuçlarını analiz ettiğinizde yaptığınız değişikliklerin daha az kullanıcının ödemede bir
sonraki adıma geçtiklerini gösterebilir.
İkinci kategoride ise testi gerçekleştirdikten sonra aldığınız sonuç ne tam başarılı ne de
başarısızdır. Hipoteziniz kullanıcılar üzerinde hiçbir etki yapmamıştır. Hipotez süreci üzerinde daha
fazla zaman ve enerji harcayarak bu tip testlerin sayısını olabildiğince düşürmeniz gerekir. Hem
başarılı olan testler hem de başarısız olan testler bir sonraki test için size öğrenme fırsatı
sunarken etkisiz testler boşa harcanan kaynakları gösterir.

24. Test Ne Zaman Başarılı Olur?
Bir testin başarılı olması için iki şartı yerine getirmesi gerekir. Öncelikle yapılan test
sonuçları itibariyle iş için anlamlı bir optimizasyon sunuyor olması gerekir. Bu
işletmenizin dijitalde sahip olduğu hacim ile yakından ilgili bir konudur.
Örneğin Facebook’ta çalıştığınızı düşünün. Reklam verenlerle ilgili operasyonları
düşünün. Yaptığınızın optimizasyon %0.1 ‘lik bile bir iyileşme gerçekleştirse sonuç olarak
oldukça büyük bir geri dönüşler alırsınız. Diğer taraftan eğer ürün/pazar uyumu
aşamasında bulunan yeni bir girişim için test yapıyorsanız, yapacağınız testlerin
işletmeniz için anlamlı olabilmesi için belki %100 üzerinde artışlar sağlaması gereklidir ki
işiniz için anlamlı sonuçlar üretmiş olsun.

25. Test Ne Zaman Başarılı Olur?
Diğer taraftan test sonuçlarını okuyabilmek ve değerlendirebilmek için gerekli olan
katılımcı sayısı önemlidir. Eğer çok küçük bir katılımcı kitlesini göz önüne alarak test
sonuçlarını değerlendirirseniz bu sizi hatalı bir yargıya ulaştırır. Yaptığınız testin
tekrarlanabilir ve tekrarlandığında aynı sonucu alıyor olması önemlidir.
Peki bir testin tekrarlanabilir ve istatiksel olarak değerlendirilebilmesi için ne kadar
trafiğe ihtiyacınız var? Bu sorunun cevabını istatiksel olarak vermek isterseniz Evan Miller
üzerinde bulunan hesaplayıcıyı kullanabilirsiniz.

26. Test Ne Zaman Başarılı Olur?
Diğer taraftan testlerinizi dün önerdiğimiz araçların biri ile yapıyorsanız bu durumda
“güven aralığı” (İngilizce terimi ile baktığımızda “confidience interval”) değerine
bakmanız gerekmektedir. Bir testin sonucunu değerlendirmeye başlayabilmek için bu
değerin en az %95 olduğunu görmelisiniz!
Test sonuçlarını değerlendirirken teste dahil ettiğiniz kitle de büyük bir rol oynar.
Bununla ilgili örnekleri incelemek için Lean Marketing’teki makalemi okuyabilirsiniz.

27. Örnek A/B Testing
Süreçleri

28. Konuşarak Öğren
Konuşarak Öğren verilerini incelediğimizde ana sayfaya gelen kullanıcıların büyük bir
bölümünün mobil olarak geldiklerini gördük. Ayrıca mobil kullanıcıların dönüşüm
oranının masaüstü cihazlarla gelen kullanıcılara göre de büyük ölçüde düşük olduğunu
gördük. Bunun sonucu olarak mobile özel bir sayfa hazırlayarak test gerçekleştirdik.

29. Konuşarak Öğren
Testimizin sonucunu analiz ederken dikkat
ettiğimiz bir nokta vardı. Genel olarak bütün
kullanıcıların datasına bakmak yerine en
büyük trafik kaynağı olan Google
reklamlarından gelenler ve sayfayı yeni olarak
ziyaret eden kullanıcıları ele aldık. Sonuçları
bu şekilde analiz ettiğimizde yapmış
olduğumuz test %79 oranında daha yüksek
performans gösterdi.

30. Konuşarak Öğren
Bu testi gerçekleştirdikten sonra sayfayı
yeniledik ve sayfanın daha da başarılı olması
için araştırmalarımıza devam ettik. Bu konuda
hipotezlerimizden biri de kullanıcıları yazılarla
karşılamak yerine videoyu yeni sayfa
formatında kullanmaktı. Test sayfasının
görünümü yandaki şekildeydi.
Bu şekilde videoyu kullandığımızda sayfamızın
dönüşüm oranında %26’lık bir düşüş
olduğunu gözlemledik.

31. Konuşarak Öğren
Diğer bir yapmış olduğumuz test ile masaüstü sayfa görünümüyle ilgiliydi. Sayfa
görünümü üzerinde sadece formların bulunduğu arka planı ve buton renkleri
değiştirerek yeni bir sayfayı oluşturduk.
Sonuçları analiz ettiğimizde Google reklamları ile sayfaya ulaşan ve sayfaya yeni olarak gelen
kullanıcıların diğer kullanıcılara göre %11 daha yüksek bir dönüşüm sergilediklerini gördük.

32. A/B Testing
A/B testi işinizi büyütmek için size büyük fırsatlar sunar. Pazarlama bütçenizi artırmadan
dijital varlıklarınızdan işiniz için daha yüksek sonuçlar elde edersiniz. Yüksek tempolu A/B
testleri yapmak dijital varlıklarınızı optimize etmenin en iyi yoludur. Böylece adım adım
fırsat noktalarını keşfeder, bütün sisteminizi optimize edersiniz.
Başarılı bir A/B testing süreci diğer testlerin kopyalanıp/yapıştırılması ile gerçekleşmez.
Kendi iş modelinize ve kullanıcı kitlenize özel analizler yapmalı hipotezler bu çerçevede
oluşturulmalıdır. Eğer aktif bir kullanıcı kitleniz var ve işletmenizin aynı pazarlama
harcamalarını yaparken daha yüksek geri dönüş almasını istiyorsanız A/B testlerini aktif
olarak kullanmalısınız. Bu konuda profesyonel destek almak isterseniz buraya tıklayarak
bizimle iletişime geçebilirsiniz.

33. Teşekkürler
Growth Hacking Studio