А/В тестування: обсяг та часові рамки

Щоб говорити про обсяги та таймінги А/В тестування, згадаймо, що це таке і для чого воно виконується.

А/В тести – один із методів проведення досліджень у сфері маркетингу. Суть цього тесту полягає в наступному:

• є контрольна група елементів;
• є набір тестових груп, декілька елементів (1-2) змінюються;
• відбувається порівняння 1 та 2 груп (А та В);
• за підсумками порівняння проводиться аналіз та робляться висновки про те, що саме покращило цільові показники.

Порівнюватися можуть оголошення, лендінги, елементи сайту тощо. Завдяки тестуванню можна наочно побачити та зрозуміти, що приваблює клієнтів, що приносить велику конверсію.

У кожного дослідження завжди є параметри у вигляді тривалості його проведення та обсягу матеріалу для дослідження. Що робити у цій ситуації? Нумо розуміти, що до чого і як працює.

Гарне, ні, навіть не так — найкраще питання, яке ви можете поставити собі. Щоб щось перевіряти, треба вигадати, що саме. Це називається – гіпотеза.

З чого треба починати вигадувати гіпотезу для тестів:

1. Виділіть проблемні моменти у компанії. Це може бути брак конверсії, передплатників тощо.
2. Перетворіть цей недолік на мету.
3. Тепер згадуємо образ «ідеального покупця». Немає? Тоді настав час його зробити.

Щоб вам було легше скласти собі гіпотезу, ми зробили невелике нагадування. Воно точно допоможе.

Тільки не тягніть із цим. Чим довше ви ставитимете питання, тим більші проблеми з формулюванням виникатимуть. Упорядкування гіпотези не займає багато часу. Можна навіть влаштувати невеликий брейнстормінг із командою.

Той випадок, коли фраза «розмір має значення» є актуальною і розкривається у всій красі. Якщо вибірка занадто мала, то є ризик отримати невірні статистичні дані. Чи є якийсь орієнтир у проведенні досліджень? Так, їх цілих 2. Причому цифри дуже відрізняються.

Одні кажуть, що достатньо 1000, а інші — 5000. До чого це стосується? А до будь-якої з метрик, що буде досліджена: відвідування, конверсії, клієнтів та інше.

У випадку з A/B тестами ви ділитимете загальну кількість користувачів на 2 групи по 500 та 2 500 осіб відповідно. Створювати групу менш ніж з 500 осіб не має сенсу.

І ще, не забудьте, що групи мають складатися з усіх типів користувачів, які вам потрібні. Інакше знову отримаєте некоректні результати.

Не забуваємо і про «гаджет-забруднення». Так, користувачі можуть відвідувати ваші ресурси з різних пристроїв. Щоб цього уникнути, запускайте тестування для різних пристроїв та браузерів окремо. Так це складно. Але результат виправдовує гроші.

Поспіх тут ні до чого. Як показує статистика, великий відсоток маркетологів дуже рано все кидає. Суть у тому, що поспіх у дослідженні призводить до помилок та хибних результатів. Маркетологи, які не приділяють достатньо часу дослідження, завжди отримують неправильний результат. То скільки часу потрібно?

2 тижні чи 14 повних днів. Але не поспішайте закривати сторінку і тікати тестувати. Потрібно ще й розповісти чому саме 2 тижні, а не 3.

А ось вам трохи наочності. Дивіться, що виходить. У процесі тестування ми маємо такі показники:

• колонка з днем тижня; 
• коефіцієнт клікабельності за нашими оголошеннями;
• коефіцієнт конверсії сайту;
• окупність проекту.

Що ви бачите? Перше, що впадає у вічі – найбільший інтент відвідувача до здійснення покупки у вівторок та середу.

Па-па-пам! І ось перший показник того, що мінімальний термін тестів має становити щонайменше тиждень +. Припустимо, якийсь маркетолог тестував 5 днів і не захопив у тестовий період саме четвер. Все. Його результати просто неправильні.

Саме тому потрібно завжди давати тесту достатню кількість часу на проведення та обсягу на дослідження. Деякі компанії проводять його місяцями. Ніхто не забороняє це робити. В результаті вони отримують приріст до показника конверсії +10-150%.

Так-так, ми знаємо, що ви можете запитати. Якщо ваші два варіанти йдуть ось рівненько, ось відсоток у відсоток, що робити? Переробляти. Так, звучить не райдужно, зате чесно. Вам потрібний результат, а не «галочка»? Тоді потрібно розпочинати розробку альтернативних варіантів та проводити нові тести для досягнення бажаного результату.

Приділіть належну увагу тестуванню, створенню гіпотези та інших дрібниць. Вони обов'язково позначаться на підсумковому результаті. Якщо ви працюєте на результат, це окупиться з часом.