Метод A/B-тестирования позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики.
Доверяете ли вы своей интуиции? Например, у вас запущен сайт, который активно посещают пользователи. Однажды вы решаете добавить в него всплывающее окно, изменить значок «Корзина» или просто поменять цвет кнопок. Вы интуитивно предполагаете, что пользователям станет проще совершать покупки.
Но, зачастую, ваши гипотезы строятся на основе личных взглядов, и совсем не обязательно будут совпадать с предпочтениями аудитории ресурса. А значит, после внесения изменений вы не получите желаемого эффекта. Для проверки таких гипотез стоит провести А/В-тесты.
Первоначально нужно определить показатель, который будет изменяться. Например, как расположение составляющих веб-страницы будет влиять на уровень средней выручки, полученной от посетителя. Половина посетителей сайта направляется на версию А (текущее состояние), вторая половина – на другую версию (В), которая имеет определенные отличия (Рис.1).
Рис.1. A/B тестирование
Эксперимент проводится необходимое время, а затем осуществляется статистический анализ, который ответит на вопрос: «Отмечается ли разница в поведении между группами А и В, и в чем ее причина?» При слишком маленьком размере выборки, это может быть случайность. Или же разница носит причинно-следственный характер.
А/А-тесты важны для проверки аппарата эксперимента и представляют собой сравнение двух контрольных групп, имеющих одинаковые начальные условия. Зачем это нужно:
После определения цели тестирования и выявления основных критериев исследования, стоит ответить на вопросы: кто будет участвовать в тестах, когда они начнутся и завершатся? В большинстве случаев А/В-тестирование ориентированно на всех посетителей сайта. Но возможны варианты, когда объектом исследования должны стать, например, пользователи конкретного региона, или те, кто совершает повторные покупки.
Получившуюся выборку участников делят на две группы, обычно 50/50, но так выходит не всегда. При рекомендованном делении у пользователя должна быть одинаковая вероятность попадания как в контрольную, так и в тестовую группу. Поэтому при распределении можно воспользоваться механизмом генерации случайных чисел.
Важно, чтобы при повторном посещении сайта клиент попадал в ту же группу, в противном случае это может привести его в замешательство и повлиять на качество анализа. Поэтому необходим четкий процесс распределения пользователей, например, можно применить мод или подходящую функцию хэширования к каждому ID.
В начале тестирования можно сразу направить 50% трафика в тестовую группу, либо постепенно наращивать количество пользователей тестовой страницы. Эксперимент нужно проводить, пока не будет охвачен минимальный размер выборки или больше. Если завершить тестирование раньше срока, то возрастет вероятность получения ложноположительного или ложноотрицательного результата.
Его также называют факторным экспериментом, потому что в ходе него все возможные ситуации тестируются одновременно (Рис.2). При высокой посещаемости сайта можно провести тестирование параллельно и затратить на него гораздо меньше времени. Кроме этого, появляется возможность оценить так называемый эффект взаимодействия: возможно, более крупная кнопка корзины эффективнее, чем кнопка стандартного размера, а кнопка синего цвета эффективнее красной кнопки, и если объединить эти результаты, то выигрышным вариантом будет большая синяя кнопка корзины.
Рис.2. Многовариативное тестирование
Предметом тестирования может стать что угодно. В какой бы отрасли Вы ни работали, всегда есть что оптимизировать. Кроме того, если Вы что-то попробовали, и это не сработало, можно просто вернуться к первоначальному варианту. В заключении: один из приятных моментов А/В-тестирования – вам не требуется предварительного объяснения, почему что-то должно сработать. Нужно просто провести тест, изучить результаты и найти те факторы, которые обеспечат позитивное влияние.
Другие материалы по теме:
