Bir web sitesinde buton rengini değiştirmek, başlığı yeniden yazmak veya form alanlarını azaltmak kullanıcı davranışlarını etkileyebilir. Ancak yapılan değişikliğin gerçekten daha iyi sonuç verdiğini yalnızca kişisel görüşlere dayanarak anlamak mümkün değildir.

Bu noktada A/B testi, iki farklı seçeneğin gerçek kullanıcılar üzerinde karşılaştırılmasını sağlayan veri odaklı bir yöntem olarak kullanılır.

A/B testi, bir sayfanın, reklamın, e-postanın veya dijital öğenin iki farklı sürümünün benzer kullanıcı gruplarına gösterilerek hangi sürümün daha iyi performans verdiğinin ölçülmesidir.

Testte genellikle:

A sürümü: Mevcut veya kontrol sürümü
B sürümü: Değişiklik yapılan varyasyon

olarak adlandırılır.

Örneğin bir e-ticaret sitesindeki satın alma butonunun mevcut metni:

Sepete Ekle

olabilir.

B varyasyonunda ise:

Hemen Satın Al

metni kullanılabilir.

Trafiğin bir bölümü A sürümüne, diğer bölümü B sürümüne yönlendirilir. Belirlenen süre sonunda hangi seçeneğin:

Daha fazla tıklama
Daha fazla form gönderimi
Daha yüksek satış
Daha düşük terk oranı
Daha fazla üyelik

oluşturduğu analiz edilir.

A/B testi, tasarım ve pazarlama kararlarını yalnızca tahminlerle değil, gerçek kullanıcı davranışlarıyla değerlendirmeyi sağlar. Bununla birlikte testin doğru sonuç vermesi için hipotez, örneklem büyüklüğü, test süresi ve başarı metriği önceden belirlenmelidir.

A/B Testi Nedir?

A/B testi, iki farklı sürümün aynı dönemde ve benzer koşullarda karşılaştırıldığı kontrollü deney yöntemidir.

Testin temel amacı şu soruya cevap vermektir:

“Yapılan değişiklik, mevcut sürüme göre ölçülebilir bir iyileşme sağlıyor mu?”

A/B testi yalnızca web tasarımında kullanılmaz.

Aşağıdaki alanlarda uygulanabilir:

Web sitesi
Landing page
E-ticaret ürün sayfası
Reklam metni
Reklam görseli
E-posta başlığı
Mobil uygulama
Form
CTA butonu
Fiyatlandırma sayfası
Üyelik ekranı
Bildirim mesajı
İçerik başlığı

Test sürecinde mümkün olduğunca tek bir temel değişken karşılaştırılır. Böylece performans değişikliğinin hangi unsurdan kaynaklandığı daha kolay anlaşılır.

A/B Testing Ne Demek?

A/B Testing, Türkçede A/B testi veya bölünmüş test olarak ifade edilir.

“Split testing” kavramı da benzer anlamda kullanılabilir. Trafik iki veya daha fazla varyasyona bölünerek kullanıcı davranışları ölçülür.

Basit bir A/B testinde:

Kullanıcıların yaklaşık yarısı A sürümünü görür.
Diğer yarısı B sürümünü görür.
Kullanıcılar rastgele gruplara atanır.
Her kullanıcı test boyunca mümkünse aynı sürümü görür.
Sonuçlar ortak başarı metriği üzerinden karşılaştırılır.

Trafiğin mutlaka tam olarak yüzde 50’ye yüzde 50 dağıtılması gerekmez. Riskli veya büyük değişikliklerde trafik:

%90 kontrol, %10 varyasyon
%80 kontrol, %20 varyasyon
%70 kontrol, %30 varyasyon

şeklinde de dağıtılabilir.

Ancak gruplar arasındaki trafik farkı, sonuçların oluşma hızını etkileyebilir.

A/B Testinin Temel Unsurları

Bir A/B testi aşağıdaki temel bileşenlerden oluşur:

Unsur	Açıklama
Kontrol sürümü	Mevcut veya temel sürüm
Varyasyon	Test edilen yeni sürüm
Hipotez	Değişikliğin neden daha iyi sonuç vereceğine ilişkin önerme
Hedef kitle	Teste dâhil edilen kullanıcı grubu
Başarı metriği	Test sonucunun değerlendirileceği temel ölçüm
Örneklem	Teste katılan kullanıcı veya oturum sayısı
Test süresi	Deneyin devam ettiği dönem
İstatistiksel analiz	Gözlenen farkın tesadüf olup olmadığının değerlendirilmesi

Bu unsurlardan biri eksik olduğunda test sonucu yanlış yorumlanabilir.

Kontrol Sürümü Nedir?

Kontrol sürümü, test öncesinde kullanılan mevcut tasarım veya içeriktir.

A sürümü genellikle kontrol olarak belirlenir.

Örnek:

Mevcut başlık
Mevcut buton
Mevcut form
Mevcut ürün görseli
Mevcut e-posta konusu

Kontrol sürümü, değişikliğin etkisini karşılaştırmak için başlangıç noktası oluşturur.

Varyasyon Nedir?

Varyasyon, performansının kontrol sürümüne karşı ölçüldüğü alternatif seçenektir.

B varyasyonunda:

Başlık değiştirilebilir.
Buton metni yenilenebilir.
Görsel farklılaştırılabilir.
Form kısaltılabilir.
Fiyat sunumu düzenlenebilir.
Sayfa yerleşimi değiştirilebilir.

Bir testte birden fazla varyasyon da kullanılabilir. Bu durumda test A/B/n testi olarak adlandırılabilir.

Hipotez Nedir?

Hipotez, yapılan değişikliğin kullanıcı davranışını neden ve nasıl etkileyeceğini açıklayan test edilebilir önermedir.

Zayıf hipotez:

Butonu değiştirelim, belki dönüşüm artar.

Daha güçlü hipotez:

Form butonundaki “Gönder” metnini “Ücretsiz Teklif Al” olarak değiştirmek, kullanıcının elde edeceği sonucu daha açık göstereceği için form tamamlama oranını artıracaktır.

İyi bir hipotez şu unsurları içerebilir:

Yapılacak değişiklik
Hedeflenen kullanıcı davranışı
Beklenen sonuç
Değişikliğin gerekçesi

Hipotez şu yapıyla hazırlanabilir:

Eğer [değişiklik] yapılırsa, [gerekçe] nedeniyle [metrik] artacak veya azalacaktır.

A/B Testi Ne İşe Yarar?

Kullanıcı Davranışlarını Anlamayı Sağlar

Kullanıcıların hangi tasarım, mesaj veya teklif karşısında daha fazla işlem yaptığını gösterir.

Dönüşüm Oranını Geliştirebilir

A/B testleri:

Satın alma
Form gönderme
Üyelik
Sepete ekleme
Demo talebi
Telefon araması

gibi dönüşümlerin artırılmasına yardımcı olabilir.

Karar Sürecindeki Kişisel Görüşleri Azaltır

Ekip üyeleri farklı tasarımları tercih edebilir. A/B testi, kararın yalnızca kişisel beğeni üzerinden verilmesini önler.

Küçük Değişikliklerin Etkisini Ölçer

Başlık veya buton metni gibi küçük görünen değişiklikler önemli performans farkları oluşturabilir.

Riskli Değişiklikleri Kontrollü Biçimde Test Eder

Yeni tasarım bütün kullanıcılara açılmadan önce trafiğin sınırlı bir bölümünde denenebilir.

Sürekli İyileştirme Sağlar

A/B testi tek seferlik bir işlem değildir. Bir testten alınan sonuç, sonraki testlerin oluşturulmasında kullanılabilir.

A/B Testi Neden Önemlidir?

Dijital platformlarda yapılan değişikliklerin kullanıcı üzerindeki etkisini önceden kesin biçimde tahmin etmek zordur.

Bir tasarım:

Daha modern görünebilir.
Yönetim ekibi tarafından beğenilebilir.
Rakiplerde kullanılıyor olabilir.
Tasarım ilkelerine uygun olabilir.

Ancak gerçek kullanıcılar üzerinde daha düşük sonuç verebilir.

A/B testi, kullanıcı deneyimi ve işletme hedefleri arasındaki ilişkiyi gerçek verilerle değerlendirmeye yardımcı olur.

Örneğin daha kısa bir form:

Daha fazla başvuru getirebilir.
Ancak başvuruların kalitesini düşürebilir.

Bu nedenle yalnızca dönüşüm sayısı değil, dönüşüm sonrası kalite de izlenmelidir.

A/B Testi Nerelerde Kullanılır?

Web Sitesi Başlıkları

Sayfanın ana başlığı kullanıcının:

Sayfada kalmasını
Teklifi anlamasını
İçeriği okumaya devam etmesini
CTA’ya yönelmesini

etkileyebilir.

Başlık varyasyonları:

Fayda odaklı
Sorun odaklı
Sonuç odaklı
Soru biçiminde
Sayısal ifade içeren

şekillerde test edilebilir.

Landing Page

Landing page üzerinde test edilebilecek alanlar:

Ana başlık
Alt başlık
Hero görseli
Form alanları
CTA
Sosyal kanıt
Referanslar
Fiyat sunumu
Sık sorulan sorular
Sayfa uzunluğu

olabilir.

Dönüşüm odaklı sayfa yapısını geliştirmek için landing page ilkeleri incelenebilir.

CTA Butonları

CTA testlerinde:

Buton metni
Boyutu
Konumu
Tasarımı
Çevresindeki açıklama
Sayfadaki tekrar sayısı

karşılaştırılabilir.

Örnek metinler:

Gönder
Teklif Al
Ücretsiz Analiz İste
Hemen Başla
Ürünleri İncele
Demo Talep Et

Harekete geçirici mesajların yapısını öğrenmek için Call to Action rehberinden yararlanılabilir.

Formlar

Form testlerinde:

Alan sayısı
Zorunlu alanlar
Tek sayfa veya çok adımlı yapı
Alan sıralaması
Form başlığı
Güven mesajları
Onay kutuları
Gönderim sonrası ekran

test edilebilir.

Form alanlarını azaltmak başvuruları artırabilir ancak satış ekibinin ihtiyaç duyduğu bilgileri azaltabilir. Bu nedenle yalnızca form sayısı değil, nitelikli başvuru oranı da ölçülmelidir.

E-Ticaret Ürün Sayfaları

Ürün sayfalarında:

Ürün başlığı
Ana görsel
Görsel sıralaması
Ürün açıklaması
Fiyat gösterimi
İndirim mesajı
Sepete ekle butonu
Kargo bilgisi
Ürün yorumları
Stok mesajı
Varyant seçimi

test edilebilir.

Sepet ve Ödeme Sayfaları

Sepet ve ödeme sürecinde:

Ücretsiz kargo mesajı
Kupon alanı
Misafir ödeme
Adım sayısı
Ödeme seçenekleri
Güvenlik simgeleri
Teslimat açıklamaları
Sipariş özeti

karşılaştırılabilir.

Ödeme sayfasında yapılan değişiklikler doğrudan gelir ve sipariş kalitesini etkileyebileceği için dikkatli test edilmelidir.

E-Posta Kampanyaları

E-posta A/B testlerinde:

Konu satırı
Gönderen adı
Ön izleme metni
Gönderim saati
Ana görsel
E-posta uzunluğu
CTA
Teklif
Kişiselleştirme

test edilebilir.

E-posta konu satırı testi yapılırken bütün alıcılara aynı anda farklı saatlerde gönderim yapmak sonuçları bozabilir. Mümkün olduğunca yalnızca tek temel değişken değiştirilmelidir.

Dijital Reklamlar

Reklamlarda:

Görsel
Video
Başlık
Açıklama
CTA
Teklif
Hedef kitle
Açılış sayfası

test edilebilir.

Reklam metninin temel mesajını hazırlamak için reklam mesajının stratejisi yaklaşımı kullanılabilir.

Profesyonel kampanya yönetimi için dijital reklam yönetimi çalışmaları yürütülebilir.

Mobil Uygulamalar

Mobil uygulamalarda:

Kayıt akışı
Bildirim mesajları
Butonlar
Navigasyon
Uygulama içi satın alma
Üyelik ekranı
Özellik tanıtımı
Onboarding

test edilebilir.

İçerik Sayfaları

Blog ve içerik sayfalarında:

Başlık
Kapak görseli
İçindekiler
İç link konumu
CTA
Form
İçerik uzunluğu
Önerilen içerikler

test edilebilir.

İçerik üretiminde test edilecek mesajların marka hedefleriyle uyumlu olması için içerik pazarlaması stratejisi hazırlanabilir.

A/B Testi ile Çok Değişkenli Test Arasındaki Fark

Çok değişkenli test, birden fazla öğenin farklı kombinasyonlarını aynı deney içerisinde karşılaştırır.

Örneğin:

İki başlık
İki görsel
İki CTA

aynı testte kullanılırsa toplam sekiz kombinasyon oluşabilir.

Kriter	A/B testi	Çok değişkenli test
Değişken sayısı	Genellikle bir temel değişiklik	Birden fazla değişiklik
Varyasyon sayısı	Az	Çok olabilir
Trafik ihtiyacı	Daha düşüktür	Daha yüksektir
Analiz	Daha kolaydır	Daha karmaşıktır
Sonuç	Hangi sürümün kazandığını gösterir	Öğelerin birlikte etkisini gösterebilir
Uygun kullanım	Küçük ve orta trafik	Yüksek trafik

Trafiği düşük sitelerde çok değişkenli testin yeterli örnekleme ulaşması uzun sürebilir.

A/B Testi ile Split URL Testi Arasındaki Fark

Split URL testi, iki farklı URL’nin karşılaştırılmasıdır.

Örnek:

A: siteadi.com/teklif/
B: siteadi.com/yeni-teklif/

Bu yöntem büyük tasarım veya altyapı değişikliklerinde kullanılabilir.

Kriter	A/B testi	Split URL testi
Sayfa adresi	Genellikle aynı URL	Farklı URL’ler
Değişiklik kapsamı	Küçük veya orta	Büyük olabilir
Teknik kurulum	Sayfa içinde varyasyon	Trafik farklı sayfalara gider
Kullanım	Başlık, CTA ve form	Tam tasarım veya altyapı

Split URL testlerinde SEO, canonical, yönlendirme ve indeksleme ayarları ayrıca kontrol edilmelidir.

A/B/n Testi Nedir?

A/B/n testi, kontrol sürümüyle birden fazla varyasyonun karşılaştırıldığı deneydir.

Örnek:

A: Mevcut başlık
B: Fayda odaklı başlık
C: Soru biçiminde başlık
D: Sayısal başlık

Varyasyon sayısı arttıkça her sürüme düşen trafik azalır. Bu nedenle daha fazla örneklem ve daha uzun test süresi gerekebilir.

A/B Testi Nasıl Yapılır?

İşletme Hedefini Belirleyin

Test başlamadan önce hangi ticari sonucun geliştirileceği belirlenmelidir.

Örnek hedefler:

Satışları artırmak
Form başvurularını yükseltmek
Sepet terkini azaltmak
Üyelik oranını artırmak
Reklam tıklama oranını geliştirmek
Ortalama sipariş değerini yükseltmek

“Sayfayı daha güzel yapmak” ölçülebilir bir hedef değildir.

Mevcut Verileri İnceleyin

Test fikri yalnızca tahmine dayanmamalıdır.

Kullanılabilecek veri kaynakları:

Web analitiği
Isı haritaları
Oturum kayıtları
Kullanıcı anketleri
Müşteri hizmetleri kayıtları
Satış ekibi geri bildirimleri
Form terk verileri
Reklam raporları
Site içi arama verileri

Kullanıcıların sayfada hangi alanlarla etkileşim kurduğunu değerlendirmek için ısı haritası analizleri kullanılabilir.

Sorunu Tanımlayın

Verilerden hareketle belirli bir sorun yazılmalıdır.

Örnek:

Mobil kullanıcıların teklif formunu tamamlama oranı masaüstü kullanıcılardan belirgin biçimde düşüktür.

Bu sorun daha sonra araştırılabilir:

Form çok mu uzun?
Klavye alanları yanlış mı?
Buton ekran dışında mı?
Sayfa yavaş mı?
Güven mesajı eksik mi?

Hipotez Oluşturun

Örnek hipotez:

Mobil formdaki sekiz alanı dört alana indirmek, kullanıcıların işlemi daha kısa sürede tamamlamasını sağlayacağı için form dönüşüm oranını artıracaktır.

Hipotez belirli, ölçülebilir ve test edilebilir olmalıdır.

Başarı Metriğini Seçin

Her testin birincil başarı metriği bulunmalıdır.

Örnek birincil metrikler:

Form dönüşüm oranı
Satın alma oranı
Sepete ekleme oranı
CTA tıklama oranı
Üyelik oranı
Gelir

İkincil metrikler de izlenebilir:

Sayfada kalma süresi
Hemen çıkma
Ortalama sipariş değeri
İade oranı
Nitelikli müşteri oranı

Birincil metrik testin kazananını belirler. İkincil metrikler ise değişikliğin yan etkilerini anlamaya yardımcı olur.

Koruyucu Metrikleri Belirleyin

Bir test ana metriği artırırken başka bir önemli sonucu düşürebilir.

Örneğin:

Form sayısı artabilir.
Ancak nitelikli müşteri oranı düşebilir.
Satış sayısı artabilir.
Ancak kâr marjı azalabilir.
Tıklama oranı artabilir.
Ancak hemen çıkma oranı yükselebilir.

Bu nedenle koruyucu metrikler belirlenmelidir.

Örnekler:

İade oranı
Sipariş iptali
Müşteri başına gelir
Sayfa hata oranı
Destek talebi
Spam başvuru oranı

Kontrol ve Varyasyonu Hazırlayın

Testte mümkün olduğunca yalnızca hipotezle ilişkili değişiklik yapılmalıdır.

Örneğin buton metni test ediliyorsa aynı anda:

Başlık
Görsel
Fiyat
Form alanları

değiştirilmemelidir.

Aksi hâlde performans farkının hangi değişiklikten kaynaklandığı anlaşılamaz.

Hedef Kitleyi Belirleyin

Test bütün kullanıcılara veya belirli bir segmente uygulanabilir.

Segmentler:

Mobil kullanıcılar
Masaüstü kullanıcılar
Yeni ziyaretçiler
Geri dönen kullanıcılar
Belirli ülkeler
Belirli trafik kaynakları
Üyeler
Üye olmayanlar

olabilir.

Hedef kitlenin doğru tanımlanması için hedef kitle analizi yapılabilir.

Örneklem Büyüklüğünü Hesaplayın

Testin güvenilir sonuç vermesi için yeterli sayıda kullanıcıya ihtiyaç vardır.

Örneklem büyüklüğünü etkileyen unsurlar:

Mevcut dönüşüm oranı
Tespit edilmek istenen minimum fark
İstatistiksel güven seviyesi
Testin istatistiksel gücü
Varyasyon sayısı
Trafik dağılımı

Mevcut dönüşüm oranı düşükse veya ölçülmek istenen değişim çok küçükse daha fazla kullanıcı gerekebilir.

Örneğin yüzde 2 dönüşüm oranını yüzde 2,1’e çıkarmak ile yüzde 2’den yüzde 3’e çıkarmayı ölçmek aynı örneklem ihtiyacını oluşturmaz.

Trafiği Rastgele Dağıtın

Kullanıcılar kontrol ve varyasyon gruplarına mümkün olduğunca rastgele atanmalıdır.

Rastgele dağıtım sayesinde grupların:

Cihaz
Kaynak
Konum
Kullanıcı türü
Satın alma eğilimi

açısından benzer olması hedeflenir.

Test Süresini Belirleyin

Test süresi yalnızca gün sayısına göre değil, gerekli örnekleme göre belirlenmelidir.

Testin:

En az bir tam iş döngüsünü kapsaması
Hafta içi ve hafta sonu farklarını içermesi
Kampanya veya tatil etkilerinden arındırılması
Yeterli dönüşüm sayısına ulaşması

önemlidir.

Çoğu durumda testi bir veya iki gün içerisinde sonlandırmak yanıltıcı olabilir.

Testi Teknik Olarak Kontrol Edin

Test yayına alınmadan önce:

A ve B sürümleri doğru mu?
Dönüşümler ölçülüyor mu?
Mobil görünüm çalışıyor mu?
Sayfa hızı etkileniyor mu?
Kullanıcı aynı varyasyonu görmeye devam ediyor mu?
Analiz etiketleri doğru mu?
Ödeme veya form süreci çalışıyor mu?
Bot ve çalışan trafiği filtreleniyor mu?

kontrol edilmelidir.

Testi Yayına Alın

Test başladıktan sonra önemli bir teknik sorun yoksa deney koşulları değiştirilmemelidir.

Test devam ederken:

Varyasyon tasarımı değiştirilmemeli
Başarı metriği değiştirilmemeli
Hedef kitle yeniden tanımlanmamalı
Test erken durdurulmamalıdır

Aksi hâlde sonuçların güvenilirliği azalabilir.

Sonuçları Analiz Edin

Test tamamlandığında yalnızca dönüşüm oranları değil, istatistiksel belirsizlik de değerlendirilmelidir.

İncelenebilecek alanlar:

Kontrol dönüşüm oranı
Varyasyon dönüşüm oranı
Mutlak fark
Göreli artış
Güven aralığı
İstatistiksel anlamlılık
Segment sonuçları
Koruyucu metrikler

Sonucu Uygulayın veya Yeni Test Planlayın

B varyasyonu açık biçimde daha iyi sonuç verdiyse uygulanabilir.

Sonuç anlamlı değilse:

Kontrol korunabilir.
Yeni varyasyon oluşturulabilir.
Hipotez yeniden değerlendirilebilir.
Daha yüksek etkili bir değişiklik test edilebilir.

B varyasyonu daha kötü sonuç verdiyse bu da değerli bir bulgudur. İşletmenin olumsuz sonuç verecek bir değişikliği bütün kullanıcılara uygulamasını önler.

A/B Testi Örneği

Bir hizmet sayfasındaki form için aşağıdaki test oluşturulsun:

Kontrol Sürümü

Buton metni:

Gönder

Varyasyon

Buton metni:

Ücretsiz Teklif Al

Hipotez

“Ücretsiz Teklif Al” ifadesi, kullanıcının form sonrasında elde edeceği sonucu daha açık anlatacağı için form dönüşüm oranını artıracaktır.

Sonuçlar

Sürüm	Ziyaretçi	Form gönderimi	Dönüşüm oranı
A – Gönder	10.000	320	%3,2
B – Ücretsiz Teklif Al	10.000	390	%3,9

Mutlak Artış

%3,9 – %3,2 = 0,7 yüzde puan

Göreli Artış

(%3,9 – %3,2) / %3,2 × 100 = yaklaşık %21,9

Burada B varyasyonu kontrol sürümüne göre yaklaşık yüzde 21,9 göreli artış sağlamıştır.

Ancak yalnızca bu oranlara bakılarak karar verilmemelidir. Örneklem yeterliliği, güven aralığı ve başvuruların niteliği de değerlendirilmelidir.

Mutlak Artış ile Göreli Artış Arasındaki Fark

Ölçüm	Açıklama	Örnek
Mutlak artış	İki oran arasındaki yüzde puan farkı	%3’ten %4’e = 1 yüzde puan
Göreli artış	Eski değere göre oransal değişim	%3’ten %4’e = %33,3 artış

Pazarlama raporlarında yalnızca göreli artış verilmesi sonucu olduğundan daha büyük gösterebilir.

Bu nedenle iki değer birlikte açıklanmalıdır.

Dönüşüm Oranı Nasıl Hesaplanır?

Temel formül:

Dönüşüm oranı = Dönüşüm sayısı / Toplam kullanıcı veya oturum × 100

Örnek:

Sayfa ziyaretçisi: 5.000
Satın alma: 150

150 / 5.000 × 100 = %3 dönüşüm oranı

Hesaplamada kullanıcı mı, oturum mu kullanılacağı test başlamadan önce belirlenmelidir.

İstatistiksel Anlamlılık Nedir?

İstatistiksel anlamlılık, gözlenen performans farkının yalnızca rastlantı sonucu oluşma ihtimalinin belirlenen sınırın altında olup olmadığını değerlendiren kavramdır.

Birçok testte yüzde 95 güven seviyesi kullanılabilir. Ancak bu değer her işletme ve test için zorunlu değildir.

Risk seviyesi düşük testlerde daha farklı eşikler kullanılabilir. Finansal, hukuki veya kritik kullanıcı deneyimi değişikliklerinde ise daha yüksek güven gerekebilir.

İstatistiksel anlamlılık:

Değişikliğin ticari açıdan önemli olduğunu
Sonucun kesinlikle tekrar edeceğini
Varyasyonun bütün segmentlerde daha iyi olduğunu

tek başına göstermez.

P Değeri Nedir?

P değeri, kontrol ile varyasyon arasında gerçek bir fark bulunmadığı varsayımı altında gözlenen veya daha uç bir sonucun ortaya çıkma olasılığıyla ilişkili istatistiksel ölçüdür.

P değeri sık kullanılan bir ölçüm olsa da yanlış yorumlanabilir.

P değeri:

Varyasyonun kazanma ihtimali değildir.
Hipotezin doğru olma ihtimali değildir.
Test sonucunun ticari önemini göstermez.

P değeri yalnızca kullanılan istatistiksel model içerisindeki belirsizliğin değerlendirilmesine yardımcı olur.

Güven Aralığı Nedir?

Güven aralığı, testte ölçülen etkinin olası değer aralığını gösterir.

Örneğin varyasyonun dönüşüm oranını:

%2 ile %12 arasında artırdığı

tahmin ediliyorsa, gerçek etkinin bu aralık içerisinde bulunabileceği değerlendirilir.

Güven aralığı çok genişse:

Örneklem yetersiz olabilir.
Dönüşüm sayısı düşük olabilir.
Test sonucu belirsiz olabilir.

Yalnızca tek bir artış oranı yerine güven aralığının da raporlanması daha sağlıklı değerlendirme sağlar.

İstatistiksel Güç Nedir?

İstatistiksel güç, gerçekten var olan belirli büyüklükteki bir etkinin test tarafından tespit edilebilme olasılığıdır.

Gücün düşük olması, testin gerçek bir farkı kaçırmasına neden olabilir.

İstatistiksel gücü etkileyen unsurlar:

Örneklem büyüklüğü
Dönüşüm oranı
Etki büyüklüğü
Veri değişkenliği
İstatistiksel anlamlılık eşiği

Birçok deney tasarımında yüzde 80 güç hedeflenebilir ancak işletme riski ve test yapısına göre farklı değerler kullanılabilir.

Minimum Tespit Edilebilir Etki Nedir?

Minimum tespit edilebilir etki, testin güvenilir biçimde belirlemesi hedeflenen en küçük performans farkıdır.

Örneğin mevcut dönüşüm oranı yüzde 5 ise işletme:

Yüzde 0,1 göreli değişimi
Yüzde 5 göreli değişimi
Yüzde 20 göreli değişimi

ölçmek isteyebilir.

Daha küçük değişimleri tespit etmek için daha büyük örneklem gerekir.

Minimum etki belirlenirken yalnızca istatistiksel değil, ticari önem de düşünülmelidir.

Uygulama maliyetini karşılamayan çok küçük bir artış istatistiksel olarak anlamlı olsa bile işletme için değerli olmayabilir.

A/B Testi Ne Kadar Sürmelidir?

Sabit bir test süresi bulunmaz.

Test süresini etkileyen unsurlar:

Günlük trafik
Dönüşüm oranı
Örneklem ihtiyacı
Beklenen etki
Trafik dağılımı
Mevsimsellik
Kullanıcı satın alma döngüsü
Varyasyon sayısı

Test yalnızca “yedi gün doldu” diye sona erdirilmemelidir. Ancak çok uzun süre açık tutulan testlerde de:

Kampanya değişiklikleri
Mevsimsel etkiler
Rakip hareketleri
Teknik güncellemeler

sonuçları etkileyebilir.

Test Neden Erken Durdurulmamalıdır?

Testin ilk günlerinde varyasyonlardan biri yüksek performans gösterebilir. Bu fark zaman içerisinde azalabilir veya tamamen tersine dönebilir.

Erken durdurma şu sorunlara yol açabilir:

Tesadüfi dalgalanmaların kazanan sanılması
Yetersiz örneklem
Hafta içi ve hafta sonu farklarının gözden kaçması
Belirli trafik kaynaklarının aşırı temsil edilmesi
Yanlış pozitif sonuç

Test öncesinde belirlenen durdurma kuralına uyulmalıdır.

A/A Testi Nedir?

A/A testi, aynı sürümün iki farklı kullanıcı grubuna gösterildiği testtir.

Amaç tasarım farkını ölçmek değil:

Trafik dağılımını
Ölçüm sistemini
Rastgele atamayı
Dönüşüm takibini
İstatistiksel yöntemi

kontrol etmektir.

A/A testinde gruplar arasında büyük ve kalıcı farklar oluşuyorsa test altyapısında sorun bulunabilir.

Sık Kullanılan A/B Testi Metrikleri

Alan	Birincil metrik örneği	Koruyucu metrik örneği
E-ticaret	Satın alma oranı	İade oranı
Form sayfası	Form gönderimi	Nitelikli başvuru oranı
Reklam	Tıklama oranı	Dönüşüm maliyeti
E-posta	Tıklama oranı	Abonelikten çıkma
Üyelik	Kayıt oranı	Aktif kullanıcı oranı
Sepet	Ödeme tamamlama	Sipariş iptali
İçerik	CTA tıklaması	Hemen çıkma oranı

Reklamların tıklama performansını değerlendirmek için CTR nedir rehberi incelenebilir.

A/B Testi Verileri Nasıl Ölçülür?

Web sitesi testlerinde ölçüm altyapısı için:

Web analitiği
Etiket yönetimi
Sunucu kayıtları
Deney platformu
CRM
Satış sistemi
E-ticaret altyapısı

birlikte kullanılabilir.

Kullanıcı davranışlarının ve dönüşümlerin izlenmesi için Google Analytics kurulabilir.

Ölçüm sisteminde:

Test varyasyonu
Kullanıcı kimliği
Oturum
Dönüşüm
Gelir
Trafik kaynağı
Cihaz

bilgileri doğru ilişkilendirilmelidir.

A/B Testinde Segment Analizi

Genel sonuçların yanında belirli kullanıcı grupları da incelenebilir.

Segment örnekleri:

Mobil ve masaüstü
Yeni ve geri dönen kullanıcı
Organik ve ücretli trafik
Üye ve misafir
Ülke veya şehir
Ürün kategorisi
Yüksek ve düşük sepet değeri

Ancak test sonrasında çok fazla segment incelendiğinde tesadüfi farklar anlamlı sanılabilir.

Segment analizleri:

Önceden planlanmalı
Yeterli örnekleme sahip olmalı
Yeni hipotez oluşturmak amacıyla dikkatli yorumlanmalıdır

Bir segmentte gözlenen fark, yeni ve bağımsız bir testle doğrulanabilir.

Frequentist ve Bayesian A/B Testi Arasındaki Fark

A/B testlerinde farklı istatistiksel yaklaşımlar kullanılabilir.

Kriter	Frequentist yaklaşım	Bayesian yaklaşım
Temel soru	Fark yoksa bu veri ne kadar olağandışı?	Bir varyasyonun daha iyi olma olasılığı nedir?
Yaygın çıktılar	P değeri ve güven aralığı	Kazanma olasılığı ve beklenen kayıp
Ön bilgi	Genellikle doğrudan kullanılmaz	Önsel bilgi kullanılabilir
Yorumlama	Daha teknik olabilir	İş kararlarında daha anlaşılır olabilir
Durdurma	Önceden belirlenen kurallara sıkı uyum gerekir	Uygun modelle esnek karar kuralları kurulabilir

Her iki yaklaşım da doğru kullanıldığında değerli olabilir. Kullanılan yöntemin varsayımları ve karar kuralları açıkça belirtilmelidir.

A/B Testi Sonuçları Nasıl Raporlanır?

Test raporunda şu bilgiler bulunmalıdır:

Testin adı
Test edilen sayfa veya alan
Hipotez
Kontrol ve varyasyon
Başlangıç ve bitiş tarihi
Trafik dağılımı
Kullanıcı sayısı
Birincil metrik
Koruyucu metrikler
Dönüşüm oranları
Mutlak fark
Göreli fark
İstatistiksel belirsizlik
Segment bulguları
Teknik sorunlar
Alınan karar
Sonraki test önerisi

A/B Testi Raporu Örneği

Alan	Bilgi
Test adı	Teklif formu CTA testi
Hipotez	Fayda odaklı CTA form dönüşümünü artırır
Kontrol	Gönder
Varyasyon	Ücretsiz Teklif Al
Test süresi	21 gün
Birincil metrik	Form gönderim oranı
Kontrol sonucu	%3,2
Varyasyon sonucu	%3,9
Mutlak fark	0,7 yüzde puan
Göreli fark	Yaklaşık %21,9
Koruyucu metrik	Nitelikli başvuru oranı
Karar	Varyasyon uygulanacak

A/B Testi Önceliklendirme Yöntemleri

Her fikir aynı anda test edilemez. Test fikirleri belirli kriterlerle puanlanabilir.

Etki

Testin dönüşüm veya gelir üzerinde oluşturabileceği potansiyel etki.

Güven

Hipotezi destekleyen veri ve araştırma düzeyi.

Kolaylık

Testin tasarım, yazılım ve ölçüm açısından uygulanma kolaylığı.

Örnek puanlama:

Test fikri	Etki	Güven	Kolaylık	Toplam
Form alanlarını azaltmak	9	8	7	24
Buton rengini değiştirmek	3	2	10	15
Mobil ödeme sürecini kısaltmak	10	9	4	23
Ürün yorumlarını yukarı taşımak	7	7	8	22

En kolay test her zaman en değerli test değildir. Ticari etkisi yüksek ve güçlü verilerle desteklenen fikirler önceliklendirilebilir.

A/B Testi ile Pazarlama Hunisi İlişkisi

Test fikirleri yalnızca satış sayfasında uygulanmaz.

Huninin farklı aşamalarında test yapılabilir:

Huni aşaması	Test örneği
Farkındalık	Reklam başlığı veya video girişi
İlgi	İçerik başlığı veya görsel
Değerlendirme	Referans, karşılaştırma veya fiyat sunumu
Dönüşüm	Form, CTA veya ödeme süreci
Sadakat	E-posta, üyelik veya tekrar satın alma mesajı

Kullanıcı yolculuğunun aşamalarını planlamak için pazarlama hunisi yaklaşımı kullanılabilir.

Remarketing Kampanyalarında A/B Testi

Yeniden pazarlama kampanyalarında:

Teklif
Görsel
Sepet hatırlatma mesajı
İndirim
Sosyal kanıt
Reklam sıklığı
Açılış sayfası

test edilebilir.

Daha önce web sitesini ziyaret eden kullanıcılarla yeni kullanıcılar aynı mesajlara farklı tepki verebilir.

Kitle oluşturma ve yeniden hedefleme süreci için remarketing rehberi incelenebilir.

Meta reklamlarında web sitesi davranışlarını ölçmek için Facebook Piksel kullanılabilir.

Düşük Trafikli Sitelerde A/B Testi Yapılır mı?

Düşük trafikli sitelerde klasik A/B testlerinin yeterli örnekleme ulaşması uzun sürebilir.

Bu durumda:

Daha büyük etkili değişiklikler test edilebilir.
Mikro dönüşüm yerine ana dönüşüm seçilebilir.
Kullanıcı araştırmaları yapılabilir.
Anket ve kullanılabilirlik testleri kullanılabilir.
Oturum kayıtları incelenebilir.
Öncesi-sonrası analizleri dikkatli uygulanabilir.
Benzer sayfalardaki trafik birleştirilebilir.

Düşük trafikte çok küçük buton değişikliklerini test etmek aylar sürebilir. Bunun yerine teklif, sayfa yapısı veya form uzunluğu gibi daha yüksek etkili hipotezler seçilebilir.

A/B Testi Her Zaman Gerekli midir?

Hayır. Bazı değişiklikler test gerektirmeden uygulanmalıdır.

Örnekler:

Çalışmayan butonu düzeltmek
Yazım hatasını gidermek
Yasal zorunluluğu uygulamak
Güvenlik açığını kapatmak
Bozuk mobil görünümü düzeltmek
Yanlış fiyatı güncellemek
Erişilebilirlik sorununu gidermek

A/B testi, hatalı mevcut durumu korumak için kullanılmamalıdır.

A/B Testinin Avantajları

Kararları veriye dayalı hâle getirir.
Kullanıcı davranışlarını ölçer.
Dönüşüm oranını geliştirebilir.
Büyük değişikliklerin riskini azaltabilir.
Ekip içi görüş ayrılıklarını azaltır.
Küçük değişikliklerin etkisini gösterir.
Sürekli iyileştirme kültürü oluşturur.
Müşteri deneyimini geliştirebilir.
Reklam ve pazarlama bütçesinin verimliliğini artırabilir.

A/B Testinin Dezavantajları

Yeterli trafik gerektirebilir.
Sonuçların oluşması zaman alabilir.
Yanlış ölçüm sistemi hatalı karar oluşturabilir.
Teknik kurulum sayfa hızını etkileyebilir.
Testler birbirini etkileyebilir.
İstatistikler yanlış yorumlanabilir.
Çok küçük değişikliklere gereksiz zaman harcanabilir.
Kısa vadeli metrikler uzun vadeli müşteri değerini yansıtmayabilir.
Kullanıcı segmentlerinde farklı sonuçlar oluşabilir.

A/B Testinde Yapılan Hatalar

Hipotez Olmadan Test Yapmak

Yalnızca farklı bir tasarım denemek öğrenilebilir bir sonuç oluşturmayabilir.

Aynı Anda Çok Fazla Unsuru Değiştirmek

Başlık, görsel, form ve buton birlikte değiştirilirse sonucu oluşturan unsur belirlenemez.

Testi Erken Durdurmak

İlk günlerde görülen performans farkı tesadüfi olabilir.

Yetersiz Örneklem Kullanmak

Az sayıda dönüşümle verilen kararlar güvenilir olmayabilir.

Başarı Metriğini Sonradan Değiştirmek

Test sonucu görüldükten sonra farklı metriği ana başarı kriteri seçmek yanlış yorumlamaya yol açabilir.

Yalnızca İstatistiksel Anlamlılığa Bakmak

Sonuç anlamlı olsa bile ticari etkisi çok küçük olabilir.

Koruyucu Metrikleri İzlememek

Dönüşüm artarken müşteri kalitesi veya kâr düşebilir.

Mevsimselliği Göz Ardı Etmek

Bayram, kampanya, hafta sonu veya maaş dönemi kullanıcı davranışlarını etkileyebilir.

Aynı Kullanıcıya Farklı Sürümler Göstermek

Kullanıcının test süresince sürekli varyasyon değiştirmesi deneyimi ve ölçümü bozabilir.

Birden Fazla Testi Çakıştırmak

Aynı sayfada eş zamanlı testler birbirinin sonuçlarını etkileyebilir.

Sonucu Bütün Kullanıcılara Genellemek

Mobil kullanıcıda kazanan varyasyon masaüstünde aynı sonucu vermeyebilir.

Başarısız Testleri Kaydetmemek

Kazanmayan testler de kullanıcı davranışları hakkında bilgi sunar.

A/B Testi Kontrol Listesi

Test Öncesi

İşletme hedefi belirlendi mi?
Sorun veriyle doğrulandı mı?
Hipotez açık mı?
Kontrol sürümü belli mi?
Varyasyon hazır mı?
Birincil metrik seçildi mi?
Koruyucu metrikler belirlendi mi?
Hedef kitle tanımlandı mı?
Örneklem büyüklüğü hesaplandı mı?
Test süresi planlandı mı?
Trafik dağılımı belirlendi mi?
Durdurma kuralı oluşturuldu mu?

Teknik Kontrol

Kontrol ve varyasyon doğru açılıyor mu?
Mobil görünüm test edildi mi?
Dönüşüm etiketi çalışıyor mu?
Gelir ölçümü doğru mu?
Kullanıcı aynı varyasyonda kalıyor mu?
Sayfa hızı etkileniyor mu?
Hata kayıtları izleniyor mu?
Bot trafiği filtreleniyor mu?
Çalışan trafiği ayrılıyor mu?
Ödeme ve form süreçleri çalışıyor mu?

Test Sırasında

Test koşulları değiştirilmedi mi?
Teknik hata bulunuyor mu?
Trafik dağılımı dengeli mi?
Dönüşüm verileri geliyor mu?
Büyük kampanya değişikliği yapıldı mı?
Varyasyon erken kapatılmadı mı?
Test sonucu sürekli müdahaleyle değiştirilmedi mi?

Test Sonrası

Gerekli örnekleme ulaşıldı mı?
Birincil metrik analiz edildi mi?
Mutlak fark hesaplandı mı?
Göreli fark hesaplandı mı?
Güven aralığı incelendi mi?
Koruyucu metrikler kontrol edildi mi?
Segment sonuçları dikkatli değerlendirildi mi?
Ticari önem hesaplandı mı?
Sonuç belgelendi mi?
Uygulama kararı verildi mi?
Yeni test fikri oluşturuldu mu?

A/B Testi Hakkında Sıkça Sorulan Sorular

A/B testi nedir?

İki farklı sürümün benzer kullanıcı gruplarına gösterilerek performanslarının karşılaştırıldığı kontrollü deney yöntemidir.

A/B Testing ne demek?

A/B Testing, Türkçede A/B testi veya bölünmüş test anlamına gelir.

A/B testi nasıl yapılır?

Hedef belirlenir, veri incelenir, hipotez oluşturulur, kontrol ve varyasyon hazırlanır, trafik bölünür ve sonuçlar analiz edilir.

A ve B neyi ifade eder?

A genellikle mevcut kontrol sürümünü, B ise test edilen yeni varyasyonu ifade eder.

A/B testi neden yapılır?

Tasarım, içerik ve pazarlama değişikliklerinin kullanıcı davranışlarına etkisini ölçmek için yapılır.

A/B testi nerelerde kullanılır?

Web siteleri, reklamlar, e-postalar, mobil uygulamalar, ürün sayfaları, formlar ve CTA butonlarında kullanılabilir.

A/B testinde kaç değişken test edilmelidir?

Sonucun nedenini açık biçimde anlayabilmek için genellikle tek temel değişken test edilmelidir.

A/B testi ne kadar sürer?

Trafik, dönüşüm oranı ve örneklem ihtiyacına göre değişir. Sabit bir süre bulunmaz.

A/B testi kaç gün yapılmalıdır?

Test bir veya daha fazla tam kullanıcı döngüsünü kapsamalı ve gerekli örnekleme ulaşmalıdır. Yalnızca gün sayısına göre karar verilmemelidir.

A/B testi için kaç ziyaretçi gerekir?

Mevcut dönüşüm oranı, minimum etki, güven seviyesi ve istatistiksel güce göre değişir.

İstatistiksel anlamlılık nedir?

Gözlenen farkın yalnızca rastlantı sonucu oluşma ihtimalinin belirli bir eşik altında olup olmadığını değerlendiren kavramdır.

Yüzde 95 güven seviyesi zorunlu mu?

Hayır. Yaygın olarak kullanılsa da testin riski ve işletme kararına göre farklı güven seviyeleri seçilebilir.

P değeri nedir?

Fark bulunmadığı varsayımı altında gözlenen veya daha uç bir sonucun ortaya çıkma olasılığıyla ilişkili istatistiksel değerdir.

Güven aralığı nedir?

Testte ölçülen etkinin olası değer aralığını gösterir.

Minimum tespit edilebilir etki nedir?

Testin güvenilir biçimde ölçmesi hedeflenen en küçük performans farkıdır.

A/B testinde dönüşüm oranı nasıl hesaplanır?

Dönüşüm sayısı toplam kullanıcı veya oturum sayısına bölünür ve yüz ile çarpılır.

Mutlak artış ile göreli artış arasındaki fark nedir?

Mutlak artış yüzde puan farkını, göreli artış ise başlangıç değerine göre oransal değişimi gösterir.

Test neden erken durdurulmamalıdır?

İlk sonuçlar rastlantısal dalgalanmalardan etkilenebilir ve testin kazananı zamanla değişebilir.

A/A testi nedir?

Aynı sürümün iki gruba gösterilerek test altyapısının ve trafik dağılımının kontrol edildiği deneydir.

A/B/n testi nedir?

Kontrol sürümüyle birden fazla varyasyonun karşılaştırıldığı test modelidir.

Çok değişkenli test nedir?

Birden fazla öğenin farklı kombinasyonlarının aynı anda test edildiği deney yöntemidir.

Split URL testi nedir?

Kullanıcıların iki farklı sayfa adresine yönlendirilerek tam sayfa sürümlerinin karşılaştırıldığı testtir.

Düşük trafikli sitelerde A/B testi yapılır mı?

Yapılabilir ancak sonuç almak uzun sürebilir. Daha yüksek etkili hipotezler ve kullanıcı araştırmaları tercih edilebilir.

A/B testi SEO’yu etkiler mi?

Yanlış teknik kurulum indeksleme, sayfa hızı veya içerik tutarlılığı sorunlarına neden olabilir. Testlerin teknik SEO kurallarına uygun hazırlanması gerekir.

A/B testinde bütün kullanıcılara aynı oran mı ayrılır?

Hayır. Trafik yüzde 50-50 veya risk seviyesine göre farklı oranlarda dağıtılabilir.

A/B testi sonucu anlamlı değilse ne yapılır?

Kontrol sürümü korunabilir, hipotez geliştirilebilir veya daha güçlü bir varyasyonla yeni test yapılabilir.

Kaybeden test başarısız mıdır?

Hayır. Kaybeden varyasyon, uygulanması hâlinde performansı düşürecek bir değişikliğin önlenmesini sağlar.

Bir test kazandıktan sonra ne yapılmalıdır?

Varyasyon uygulanmalı, sonuçlar izlenmeli ve yeni iyileştirme hipotezleri oluşturulmalıdır.

A/B testi satış garantisi verir mi?

Hayır. Doğru karar verme ihtimalini artırır ancak gelecekte aynı etkinin kesin olarak devam edeceğini garanti etmez.

Kontrollü Deneylerle Dijital Performansınızı Sürekli Geliştirin

A/B testi, web sitesi, reklam, e-posta ve mobil uygulama değişikliklerinin gerçek kullanıcı davranışları üzerindeki etkisini ölçen kontrollü bir deney yöntemidir.

Başarılı bir A/B testi için:

İşletme hedefi belirlenmeli
Mevcut veriler analiz edilmeli
Kullanıcı sorunu tanımlanmalı
Açık bir hipotez hazırlanmalı
Kontrol ve varyasyon oluşturulmalı
Birincil başarı metriği seçilmeli
Koruyucu metrikler belirlenmeli
Yeterli örneklem kullanılmalı
Trafik rastgele dağıtılmalı
Test erken durdurulmamalı
Sonuçlar istatistiksel ve ticari açıdan değerlendirilmelidir

A/B testi yalnızca farklı buton renklerini denemek değildir. En değerli testler çoğunlukla:

Kullanıcının teklifinizi anlamasını
Satın alma engellerinin azaltılmasını
Formların kolaylaştırılmasını
Fiyatın daha açık sunulmasını
Güvenin geliştirilmesini
Kullanıcı yolculuğunun sadeleştirilmesini

hedefleyen deneylerdir.

Test sonucu yalnızca “B kazandı” biçiminde raporlanmamalıdır. Değişikliğin:

Kaç kullanıcı üzerinde test edildiği
Ne kadar süre devam ettiği
Mutlak ve göreli etkisi
Belirsizlik aralığı
Ticari değeri
Yan etkileri

açıkça belirtilmelidir.

A/B testleri rastgele fikirleri denemek yerine kullanıcı araştırmalarından ve işletme verilerinden beslenmelidir. Böylece ekip, sürekli küçük değişiklikler yapmak yerine en yüksek etki potansiyeline sahip sorunlara odaklanabilir.

Her testten elde edilen bulgular kaydedildiğinde işletme zaman içerisinde kendi hedef kitlesine özel bir bilgi birikimi oluşturur. Bu bilgi birikimi, yalnızca tek bir sayfayı değil, reklamdan satış sonrasına kadar bütün müşteri deneyimini geliştirebilir.