A/B тесты - на что обращать внимание?

А/В тесты — единственный хороший способ выбрать лучший из ваших креативов. Способ, где вы четко увидите цифры и сможете выяснить причины, почему происходит именно так, а не так, как вы предполагали.

В этой статье вы узнаете, на какие детали нужно смотреть, что может повлиять на результат теста и как из этого сделать грамотные выводы.

Визуальная часть вашей страницы напрямую влияет на конверсию с показа в установки. Она выполняет роль визитки вашего приложения в сторе. Она должна выполнять такие задачи:

• быть красивой для потенциальных пользователей;
• показать, что ваше приложение имеет те функции, которые нужны пользователю;
• показать ваши преимущества над конкурентами.

Если у вас приложение на тематику фитнес, то иконка с условным молотком внесет неясность и пользователи даже не поймут, о чем ваше приложение. А если приложение с первых секунд отталкивает пользователя, то уже меньший процент посмотрит вашу страницу, какой бы хорошей она не была.

Для начала разберемся, что вообще можно протестировать в Google play и что он может показать. Протестировать можно:

• иконку;
• видео;
• баннер;
• скриншоты;
• описание.

Сам тест нам покажет количество установок, разницу в процентах всех вариантов и график с ежедневными установками по каждому варианту.

Лучше всего тестировать визуальные элементы (иконка, скрины, баннер, видео), поскольку они в действительности влияют на много пунктов, начиная с желания потенциального пользователя зайти на страницу и заканчивая тем, что ему ваш визуал просто понравится больше, чем визуал конкурентов.

Описание на деле не сильно влияет на конверсию, так как его смотрит очень маленький процент пользователей. Но сделать его хорошим тоже необходимо — это тоже часть вашей страницы и часть аудитории все же цепляет.

Если у вас новое приложение и вы начинаете свой визуал с нуля, то лучший способ выбрать в каком направлении тестить — это анализ ваших конкурентов. Анализируете как успешных, так и не очень.

Вы сможете понять, какую стилистику используют приложения в этой нише и в чем разница между всеми конкурентами. Выделить какие-то элементы, которые есть у одних, но нет у других, возможно копировать стилистику у топовых приложений и уже после этого проводить тесты для поиска лучших элементов.

Если вам нужно как-то улучшить свой визуал, то нужно смотреть на каждую деталь. Начинать с глобального и переходить потихоньку к самым мелким деталям. То есть, сначала выбрать лучший результат среди вариантов, у которых разный глобальный концепт структуры и т.д., и закончить тем, что вы тестируете, условно, размеры глаз ваших персонажей.

По такой пирамидальной системе вы будете детально узнавать и понимать, что больше привлекает пользователей, что им нравится, а что — оттолкнет. Но время от времени пробовать и тестировать что-то совсем новое может быть полезным. Пользователь всегда непредсказуем и сразу понимать, как у него меняется вкус практически невозможно.

Поэтому всегда обращайте внимание на детали. Выбрали общий концепт — тестируйте задний. Выбрали задний фон — тестируйте персонажей. Выбрали персонажа — тестируйте разные вещи в его руках. Всегда тестируйте надписи на скринах — это тоже важная деталь.

Также есть важные нюансы, про которые стоит помнить во время тестирования:

1. Во время тестов не забывайте про правила стора и соблюдайте их.
2. Смотрите на весь график, а не только на конечный результат, потому что один из вариантов может просесть или резко вырасти в один из дней теста.
3. Всегда делайте повторные тесты, чтобы результат был более точным и выдавал показатели за разные периоды тестирования.
4. В разных странах лучший вариант визуала может отличаться.
5. Разница в 5-10% не означает, что один из вариантов лучше другого — это всё погрешность, которая на следующей неделе может показать обратные результаты.

Всегда помните про тесты и создавайте все тестируемые варианты с головой.