Что такое A/B-тестирование и как его проводить

Эксперименты помогают расширяться и зарабатывать больше. В компании за повышение эффективности путем проб и ошибок отвечают маркетологи или дата-аналитики. В этой статье расскажем всем, кто хочет работать в этих сферах, как провести одно из самых эффективных исследований.

Что такое A/B-тестирование

А/B-тестирование называется так, потому что при его проведении есть продукт А и продукт В. Продукт А — это что-то, что хотят улучшить. Продукт B — это нечто с изменениями, которые должны предположительно его улучшить. 

Например, есть пост в социальных сетях, его продвигает таргетолог компании. С поста переходит мало людей в группу. Он очевидно не работает и будет считаться продуктом А. Копирайтер исправляет текст поста, убирает стоп-слова и оформляет визуальное повествование. Таргетолог запускает этот пост, а аналитик данных собирает по нему статистику. Это будет продукт В. Если результат станет лучше, здорово. Если нет — нужно менять еще. 

А и B — не только продукты, но и сегменты пользователей. В нашем примере таргетолог настроит показ объявления одной группе ЦА, которая поделена на сегменты. Например, сделает так, чтобы версия объявления A показывалась 20 мужчинам 40+. Версия B — еще 20 людям того же возраста. 

Зачем нужны А/B-тесты

A/B-тесты помогают проверять гипотезы. Например, у маркетологов компании есть предположение о том, что изменение цвета логотипа привлечет больше людей к продукту. Продают веганскую еду, а логотип голубой. Хотят сделать зеленым, чтобы показать причастность к эко-движению. Не факт, что сработает, но проверить нужно. Дата-аналитик разрабатывает A/B-тестирование. 

Такой вид проверки гипотез подходит, когда:

• нет уверенности в том, что изменения принесут положительный результат;
• нужно изучить поведенческие привычки пользователей и лучше узнать свою ЦА;
• компании хочется попробовать что-то новое, но рисковать она не готова;
• нужно исправить существующие недостатки, но пока неясно как.

A/B-тестирование эффективно во многих сферах при соблюдении правил. И нужно многим специалистам.

Кому нужно A/B-тестирование

Проводить A/B-тесты могут любые компании. Например, бренд одежды может таким образом проверять, насколько аудитории понравится новая модель джинсов в ассортименте. А компания грузоперевозок сможет узнать, в какой части сайта лучше расположить информацию о ценах.

A/B-тестирование часто используют в социальных сетях. Там можно экспериментировать с дизайном, скидками и акциями, визуалом, текстами, фирменным стилем и другим. Блогеры и магазины могут думать, что их товар уникален и прекрасен. Но пользователи могут не видеть этого из-за проблем в оформлении страницы. Чтобы избежать ошибок ошибочного положительного восприятия своего продукта, проводят A/B-тесты. Все то же можно отнести к сфере веб-разработки, где нужно доводить сайты до идеала.

Виды A/B-тестирования

Есть три вида A/B-тестирования: классическое, многовариантное и A/B/n-тест. 

Классическое или сплит-тест. Здесь два варианта продукта и два сегмента пользователей для проверки. Подойдет для небольших изменений типа формы кнопки или шрифта заголовка.

Многовариантное тестирование. Здесь тоже есть две группы, но в них сразу несколько элементов. Например, сравнивают форму кнопки и шрифт заголовка одновременно. Или новый текст на фоне разных цветов. После проведения такого тестирования можно узнать, как пользователи реагируют на разные сочетания. Возможно, кнопки действия типа «Записаться» делают красными по результатам многовариантного A/B-тестирования. A/B/n-тест. В рамках такого сравнивают сразу несколько B-продуктов и выбирают из них лучший по статистике. Например, три разных шрифта заголовка.

Как провести тестирование

Первый шаг — поставить цель. Нельзя делать что-то и не понимать, зачем ты это делаешь. Возможно, A/B-тестирование вообще не нужно, а руководитель на нем настаивает. Подумайте, что вы хотите улучшить анализом результатов теста. Это может быть, например, число подписчиков. Или количество пользователей, активных на странице — тех, что поставили лайк и сделали репост. А может вам все равно, сколько людей взаимодействуют с контентом, и вы хотите повысить продажи.

Посоветуйтесь с другими специалистами. К постановке цели лучше привлечь руководителя, маркетолога, дата-аналитика, бухгалтера, таргетолога, веб-разработчика и SMM-менеджера. Предположим, что нам надо сделать так, чтобы люди чаще оставляли свои данные в форме на сайте.

На этом же шаге нужно разработать гипотезу. Потому что A/B-тестирование — это проверка предположения. В нашем примере оно может звучать так: «Пользователи заполняют форму охотнее, если вокруг нарисованы котики, которые указывают на нее лапкой». 

Второй шаг — убрать помехи. При проведении A/B-теста не должно быть влияния внешних факторов. Исследования всех версий нужно проводить параллельно. Потому что если продукт А будет тестироваться утром, а продукт B — вечером, результаты будут неточные. 

Внутренние факторы тоже никак не должны влиять на тестирование. Возможно, на его время придется попросить менеджеров не связываться с клиентами или контент-специалистов не загружать материалы на сайт. 

Хороший аналитик данных также следит за тем, чтобы пользователем из группы А не попадался продукт для пользователей группы В, и наоборот.

Третий шаг — запустить эксперимент. Нужно попросить дизайнера нарисовать окошко формы с котиками, веб-разработчика — разместить его на странице. Дата-аналитик должен определить группы A и B. Чтобы все сработало, они должны быть достаточно большими и примерно одинаковыми. Не жалейте времени, отведенного на эксперимент. Пусть тестирование длится не пару суток, а несколько недель в определенное время дня. Тогда результаты получатся более точными. 

После того как тестирование завершилось, нужно проанализировать результаты. И сделать правильные выводы. 

Анализ результатов

Анализировать результаты нужно с учетом случайности. То есть случаев, когда пользователь заполнил форму по необходимости, а не потому что его привлекли котики. Обычно случайность составляет 5%. 

Теперь нужно сравнить результаты двух групп. Если почти все пользователи заполняли форму B охотнее, котиков нужно оставить. При этом нужно учитывать степень внесенных изменений и не бояться небольшой разницы между группами A и B. Если на сайте изменился только цвет кнопки, глобальных перемен ждать не стоит.

Хороший дата-аналитик знает, как интерпретировать результаты теста и помогает компаниям становиться лучше не только котиками на сайте. У Академии Сигма есть курс Профессия «Аналитик данных», на котором учат проверять гипотезы и искать аномалии в данных. Опытные преподаватели рассказывают, как работать с программами для визуализации данных и правильного подсчета. 

Если вы хотите проводить хорошие тестирования для бизнеса, вам нужно много практиковаться. Наш курс на 55% состоит из практики. Практики на реальных кейсах: ученики решают бизнес-задачи и разрабатывают собственное A/B-тестирование. Все пойдет в портфолио.Портфолио и резюме поможет составить Центр карьеры. Студенты курса Профессия «Аналитик» могут зарабатывать уже во время обучения с помощью полезных лекций от HR-специалистов и закрытого чата с вакансиями.