А/B тестирование: объем и временные рамки

Чтобы говорить про объемы и тайминги А/B тестирования, давайте вспомним, что это такое и для чего оно выполняется.

А/B тесты – один из методов проведения исследований в сфере маркетинга. Суть данного теста заключается в следующем.

• Есть контрольная группа элементов.
• Есть набор тестовых групп, где несколько элементов (1-2) меняются.
• Происходит сравнение 1 и 2 групп (А и В);
• По итогам сравнения проводится анализ и делаются выводы о том, что именно улучшило целевые показатели.

Сравниваться могут объявления, лэндинги, элементы сайта и так далее. Благодаря тестированию можно наглядно увидеть и понять, что привлекает клиентов, что приносит большую конверсию.

У каждого исследования всегда есть параметры в виде длительности его проведения и объема материала для исследования. Что делать в данной ситуации? Давайте разбираться, что к чему и как работает.

Хороший, нет, даже не так - лучший вопрос, который вы можете задать себе. Чтобы что-то проверять, нужно придумать, что именно. Это называется – гипотеза.

С чего надо начинать придумывать гипотезу для тестов:

1. Выделите проблемные моменты в компании. Это может быть нехватка конверсии, подписчиков и так далее;
2. Превратите этот недостаток в цель;
3. Теперь вспоминаем про образ «идеального покупателя». Нету? Тогда настало время его сделать.

Чтобы вам было легче составить для себя гипотезу. Мы сделали небольшое напоминание. Оно точно поможет.

Только не тяните с этим. Чем дольше вы будете задавать вопросы, тем большие проблемы с формулировкой будут возникать. Составление гипотезы не занимает много времени. Можно даже устроить небольшой брейншторминга с командой.

Тот случай, когда фраза «размер имеет значение» актуальна и раскрывается во всей красе. Если выборка слишком мала, то есть риск получить неверные статистические данные. Есть ли какой-то ориентир в проведении исследований? Да, их целых 2. Причем цифры сильно отличаются.

Одни говорят, что достаточно 1000, а другие 5000. К чему это относится? К любой из метрик, которая будет исследована: посещения, конверсии, клиентов и прочее.

В случае с A/B тестами вы будете делить общее число пользователей на 2 группы: по 500 и 2 500 человек соответственно. Создавать группу менее, чем из 500 человек, не имеет смысла.

Ах да, не забудьте, что группы должны состоять из всех типов пользователей, которые вам нужны. В противном случае, снова получите неверные результаты.

Не забываем и про «гаджет-загрязнение». Да, пользователи могут посещать ваши ресурсы с разных устройств. Чтобы этого избежать, запускайте тестирование для разных устройств и браузеров отдельно. Да, это сложно. Но результат оправдывает средства.

Спешка тут ни к чему. Как показывает статистика, большой процент маркетологов слишком рано все бросает. Суть в том, что спешка в исследовании приводит к ошибкам и ложным результатам. Маркетологи, которые не уделяют достаточное количество времени исследованию, всегда получают неверный результат. Так сколько времени потребуется?

2 недели или 14 полных дней. Но не спешите закрывать страницу и бежать тестировать. Нужно же еще и рассказать почему именно 2 недели, а не 3.

А вот вам немного наглядности. Смотрите, что получается. В процессе тестирования мы имеем следующие показатели.

• Колонка с днем недели.
• Коэффициент кликабельности по нашим объявлениям.
• Коэффициент конверсии сайта.
• Окупаемость проекта.

Что вы видите? Первое, что бросается в глаза – вторник и среда имеют самый большой интент посетителя к совершению покупки.

Па па па пам! И вот первый показатель того, что минимальный срок тестов должен составлять минимум неделю+. Допустим, какой-то маркетолог тестировал 5 дней и не «захватил» в тестовый период именно четверг. Все. Его результаты просто неверны.

Именно поэтому, нужно всегда давать тесту достаточное количество времени на проведения и объема на исследование. Некоторые компании проводят его месяцами. Никто не запрещает этого делать. В результате, они получают прирост к показателю конверсии +10%-150%.

Да-да, мы знаем, что вы можете спросить. Если ваши два варианта идут вот ровненько, вот процент в процент, что делать? Переделывать. Да, звучит не радужно, зато правдиво. Вам нужен результат, а не «галочка»? Тогда нужно начинать разработку альтернативных вариантов и проводить новые тесты для достижения желаемого результата.

Уделите должное внимание тестированию, созданию гипотезы и прочим мелочам. Они обязательно скажутся на итоговом результате. Если вы работаете на результат, то это окупится со временем.