A/B тесты: как проводить, какой размер выборки, как интерпретировать результаты
A/B тест - эксперимент, в котором одной половине пользователей показывается версия А, другой - версия Б. По результатам сравнивается, какая версия работает лучше.
Правильно проведённые A/B тесты могут увеличить конверсию на 30-50%. Неправильные - потратить время впустую.
Зачем нужны A/B тесты
[править]Маркетологи часто ошибаются в предположениях. Реальность часто оказывается другой. A/B тест - единственный способ узнать, что действительно работает.
Пример из практики:
- Гипотеза: скидка 50% работает лучше, чем 30%.
- Результат теста: 30% конвертит на 8% лучше (покупатели не верят скидкам 50%).
- Итог: компания сэкономила на марже, не потеряв в объёмах.
Как правильно проводить A/B тест
[править]Шаг 1. Выбрать метрику
[править]Что именно нужно улучшить?
Основные метрики:
- Конверсия (заявка, покупка, подписка)
- Процент кликов
- Стоимость клика
- Процент открытий писем
- Время просмотра видео
Если тестировать несколько метрик одновременно, результаты будут противоречивыми.
Шаг 2. Сформулировать гипотезу
[править]Не просто «синяя кнопка», а:
- Гипотеза: «Если в кнопке с призывом написать "Получить скидку" вместо "Купить", конверсия увеличится на 10%».
- Почему: покупатели хотят выгоды, слово «скидка» говорит об экономии.
- Ожидаемый результат: конверсия вырастет с 3% до 3,3%.
Структурированная гипотеза помогает избежать случайных тестов.
Шаг 3. Определить размер выборки
[править]Это критически важно. Маленькая выборка - результат может быть случайностью.
Практические ориентиры:
- При конверсии 3% и ожидаемом улучшении на 10% (до 3,3%) нужно минимум 2 000-3 000 конверсий на каждую версию.
- Если в день 100 визитов и конверсия 3% - это 3 конверсии в день. Тест будет идти минимум 1 000 дней.
Практический совет:
- Если конверсий меньше 100 в день - не тестируйте изменения меньше 10-15%.
- Тест должен идти минимум 14-21 день.
Шаг 4. Запустить тест
[править]Инструменты:
- Google Optimize (бесплатно, встроен в Google Analytics)
- Optimizely (для веб-приложений)
- Конструкторы лендингов (Leadpages, Unbounce)
- Email-сервисы (Unisender, Mailchimp)
Правила:
- Разделяйте трафик 50/50.
- Запускайте обе версии одновременно (не сначала А, потом Б).
- Минимальный период - 14 дней (чтобы охватить разные дни недели).
- Максимальный период - 30 дней (чтобы не накопилось других переменных).
Шаг 5. Интерпретировать результаты
[править]Через 14-21 день посмотрите на результаты.
Сценарий 1: Явный победитель
- Версия А: 3,2% конверсии
- Версия Б: 4,8% конверсии
- Разница: улучшение на 50%
- Статистическая значимость: 99%
- Действие: перевести всех на версию Б, запустить новый тест
Сценарий 2: Нет победителя
- Версия А: 3,2% конверсии
- Версия Б: 3,3% конверсии
- Разница: 3% улучшения
- Статистическая значимость: 45% (не значима)
- Действие: тест не дал результата, вернуться на версию А, пробовать другую гипотезу
Сценарий 3: Версия А лучше
- Версия А: 3,5% конверсии
- Версия Б: 3,0% конверсии
- Разница: версия Б хуже на 14%
- Действие: оставить версию А, это направление не работает
Типовые A/B тесты
[править]Для лендинга
[править]1. Текст кнопки
- А: «Купить сейчас»
- Б: «Получить скидку 20%»
- Часто выигрывает: Б (покупатели хотят выгоды)
2. Цвет кнопки
- А: красная
- Б: зелёная
- Часто выигрывает: красная (более контрастная)
3. Заголовок
- А: «Самая дешёвая услуга в городе»
- Б: «Экономьте 50% на 5 000 ₽ в месяц»
- Часто выигрывает: Б (конкретные числа)
4. Количество полей в форме
- А: 5 полей (имя, email, телефон, компания, бюджет)
- Б: 2 поля (имя, email)
- Часто выигрывает: Б (меньше препятствий)
Для email-рассылок
[править]1. Тема письма
- А: «Спецпредложение»
- Б: «Осталось 3 часа: скидка 40% на Премиум»
- Часто выигрывает: Б (срочность + конкретика)
2. Время отправки
- А: 9:00 по московскому времени
- Б: 19:00 по московскому времени
- Результат: зависит от аудитории
3. Персонализация
- А: «Добрый день!»
- Б: «Привет!»
- Часто выигрывает: Б (на 10-15%)
Для контекстной рекламы
[править]1. Текст объявления
- А: «Купи товар дешевле»
- Б: «Товар за 499 ₽. Быстрая доставка. Рейтинг 4,9★»
- Часто выигрывает: Б (больше информации)
2. Расширения объявления
- А: только заголовок и описание
- Б: заголовок + расширения (цена, отзывы, гарантия)
- Часто выигрывает: Б (процент кликов выше на 25-40%)
Ошибки при A/B-тестировании
[править]| Ошибка | Как исправить |
|---|---|
| Слишком маленькая выборка | Нужно минимум 500-1000 человек на версию |
| Множественное тестирование | Тестируйте 1 параметр за раз |
| Подсмотр результатов во время теста | Ждите минимум 14 дней, не смотрите результаты часто |
| Тест без гипотезы | Всегда формулируйте гипотезу до теста |
| Одновременное изменение нескольких элементов | Меняйте 1 параметр, смотрите результат |
Как часто тестировать
[править]- Новый сайт: тесты каждую неделю (много что можно улучшить)
- Растущий сайт: тесты каждые 2 недели
- Зрелый сайт: тесты раз в месяц (небольшие улучшения)
Важно: после выигрыша 1 теста запускается следующий. Этот процесс не заканчивается.
Инструменты для A/B-тестов
[править]- Google Optimize - бесплатно, встроен в Google Analytics. Подходит для сайтов, интегрируется с GA4.
- Optimizely - профессиональная платформа, от 9 000 $ в год. Для крупных компаний.
- VWO - от 300 $ в месяц. Хороший баланс цены и функций: A/B-тесты, тепловые карты, запись сеансов.
- Leadpages - от 25 $ в месяц. Конструктор лендингов со встроенными A/B-тестами.
Реальный пример: как тест привёл к +30% конверсии
[править]Гипотеза: добавление социального доказательства (отзывы на лендинге) увеличит конверсию.
Версия А (контроль): лендинг с заголовком, описанием, картинкой, кнопкой с призывом.
Версия Б (тест): то же самое + блок с 3 отзывами (имя, фото, цитата).
Результаты (3 недели, 1 500 человек в каждой версии):
- Версия А: 2,8% конверсии
- Версия Б: 3,65% конверсии
- Улучшение: +30% (статистически значимо на 98%)
Вывод: социальное доказательство работает. Добавляем его на все лендинги.
📊 Посчитайте, сколько вы теряете без A/B-тестов
Рассчитайте CAC, LTV, ROMI и получите рекомендации по оптимизации маркетинга:
Отчёт приходит на email через 5–10 минут после оплаты.
