Test iki variant yaratmaqdan əvvəl başlayır
A/B test çox vaxt belə qurulur: iki reklam hazırlanır, bir neçə gün işlədilir və daha ucuz nəticə verən qalib elan olunur. Bu yanaşma sürətli görünür, amma nəyi öyrəndiyinizi demir. Auditoriya, büdcə, yerləşim, təklif və kreativ eyni anda dəyişirsə, nəticənin səbəbi məlum deyil.
Yaxşı eksperimentin məqsədi sadəcə qalib tapmaq deyil. Növbəti qərarda istifadə ediləcək etibarlı bilik yaratmaqdır.
Hipotezi ölçülə bilən yazın
“Yeni kreativ daha yaxşı işləyəcək” hipotez deyil. Daha faydalı forma belədir:
Əgər xidmətin texniki xüsusiyyəti əvəzinə müştərinin konkret problemini ilk cümlədə göstərsək, onda keyfiyyətli müraciət nisbəti artacaq, çünki istifadəçi öz ehtiyacını daha tez tanıyacaq.
Bu cümlə dəyişəni, gözlənilən nəticəni və səbəbi göstərir. Test uğursuz olsa belə, komanda nəyi öyrəndiyini müzakirə edə bilər.
Bir əsas dəyişən seçin
Başlıq test edirsinizsə, şəkil, auditoriya, büdcə və CTA eyni qalmalıdır. Landing page forması test edilirsə, trafik mənbəyi mümkün qədər sabit saxlanmalıdır. Real həyatda hər şeyi tam eyni saxlamaq mümkün deyil, amma əsas fərqi aydınlaşdırmaq mümkündür.
Birdən çox elementi dəyişmək yeni konsept testi ola bilər. O halda nəticəni “başlıq qalib gəldi” kimi yox, “B konsepti A konseptindən yaxşı işlədi” kimi şərh edin.
Əsas metriyi əvvəlcədən seçin
Reklam klikini artırmaq istəyərkən click-through rate əsas metrik ola bilər. Biznes məqsədi satışdırsa, ucuz klik təkbaşına uğur deyil. Test üçün bir əsas metrik seçin, qalanlarını diaqnostik və qoruyucu metriklər kimi saxlayın.
- Əsas metrik: qərarı verən nəticə, məsələn keyfiyyətli lead faizi.
- Diaqnostik metrik: nəticənin niyə dəyişdiyini anlamağa kömək edir, məsələn CTR və landing page conversion rate.
- Qoruyucu metrik: yaxşı görünən testin biznesə zərər vermədiyini yoxlayır, məsələn refund və ya zəif lead faizi.
Test müddətini nəticəyə baxaraq dəyişməyin
İlk gün B variantı öndədirsə, testi dayandırmaq cazibəlidir. Amma günlük dalğalanma, həftəsonu davranışı və az nümunə təsadüfi üstünlük yarada bilər. Testdən əvvəl minimum müddət və nümunə tələbi müəyyən edin. Tam biznes dövrünü əhatə etməyə çalışın.
Test davam edərkən hər saat nəticəyə baxıb dayandırma qərarı vermək yanlış müsbət nəticə ehtimalını artırır. Monitorinq texniki problem üçün lazımdır, qalibi tez seçmək üçün yox.
Auditoriyanı düzgün bölün
Variantlar eyni vaxtda və müqayisə edilə bilən auditoriyalarda işləməlidir. A variantını əvvəlki ay, B variantını endirim dövründə göstərmək A/B test deyil. Mövsüm, qiymət, rəqib fəaliyyəti və media xərci nəticəni dəyişə bilər.
Platformanın native experiment aləti varsa, auditoriyanın üst-üstə düşməsini azaltmaq üçün ondan istifadə edin. Manual kampaniyalarda eyni istifadəçinin hər iki variantı görməsi nəticəni qarışdıra bilər.
Test sənədi bir səhifə olsun
- Problem: hansı qərarı verə bilmirik?
- Hipotez: hansı dəyişiklik hansı nəticəni niyə verəcək?
- Variantlar: nə eyni, nə fərqli qalır?
- Auditoriya: kim testə daxildir və kim deyil?
- Əsas və qoruyucu metriklər;
- Minimum müddət və dayandırma şərti;
- Qərar qaydası: qalib, qeyri-müəyyən və ya mənfi nəticədə nə edirik?
Qeyri-müəyyən nəticə də nəticədir
Variantlar arasında aydın fərq yoxdursa, test “boşa getməyib”. Bu, dəyişənin mövcud şəraitdə böyük təsir yaratmadığını göstərə bilər. Eyni testi qalib çıxana qədər təkrarlamaq əvəzinə daha güclü hipotez seçin və ya daha böyük təsirli dəyişəni sınayın.
Öyrəndiyinizi sistemləşdirin
Test adı, tarix, auditoriya, variantlar, nəticə, məhdudiyyət və növbəti addım vahid arxivdə saxlanmalıdır. Əks halda komanda altı ay sonra eyni ideyanı yenidən test edir və əvvəlki konteksti itirir.
Ən faydalı test proqramı çox test edən deyil. Hər testdən sonra qərar qaydasını yaxşılaşdıran proqramdır. Məqsəd təsadüfi qaliblər toplamaq yox, müştəri davranışı barədə etibarlı bilik yaratmaqdır.
