Хи-квадрат
Хи-квадрат (χ², критерий хи-квадрат Пирсона) - это статистический метод проверки гипотез, который определяет, являются ли различия между наблюдаемыми и ожидаемыми данными случайными или статистически значимыми. Метод используется для анализа категориальных данных, проверки независимости признаков и оценки соответствия распределений.
В интернет-маркетинге критерий хи-квадрат применяется при анализе результатов A/B-тестирования, сравнении CTR 2 вариантов объявлений и оценке эффективности рекламных кампаний. Например, маркетолог может использовать хи-квадрат в Google Optimize или калькуляторе A/B-тестов, чтобы определить, является ли разница в конверсии между двумя версиями лендинга статистически значимой или случайной.
Критерий хи-квадрат является одним из базовых инструментов проверки статистических гипотез наряду с t-тестом и точным критерием Фишера. В 2025-2026 годах он встроен в большинство аналитических платформ: Google Analytics 4, Яндекс.Метрику, системы сквозной аналитики и калькуляторы A/B-тестов, что позволяет маркетологам принимать решения на основе данных, а не интуиции.
Суть
[править]Хи-квадрат - это способ проверить, не случайно ли отличается одна группа от другой. Например, если CTR у варианта А - 5%, а у варианта Б - 7%, хи-квадрат покажет: разница реальная или это просто «шум» из-за малой выборки.
Что такое критерий хи-квадрат
[править]Критерий хи-квадрат (χ², критерий хи-квадрат Пирсона) - это статистический метод проверки гипотез, позволяющий определить, являются ли различия между наблюдаемыми и ожидаемыми данными случайными или статистически значимыми. Наиболее часто используется для анализа категориальных данных, проверки независимости признаков и оценки соответствия распределений.
Метод сравнивает наблюдаемое количество объектов с ожидаемым количеством при условии, что различий нет. Если расхождения оказываются достаточно большими, нулевая гипотеза отвергается. Иначе считается, что различия могли возникнуть случайно.
Формула расчёта
[править]Математическая формула критерия χ² основана на сравнении фактически наблюдаемых частот с частотами, которые ожидали бы получить при отсутствии какой-либо связи (нулевая гипотеза):
χ² = Σ ((Oᵢ - Eᵢ)² / Eᵢ)
Где:
- Oᵢ - наблюдаемая частота (фактическое количество кликов или показов без клика)
- Eᵢ - ожидаемая частота (расчётное количество, если бы варианты работали одинаково)
Алгоритм применения в интернет-маркетинге
[править]Пример A/B-теста
[править]Представим, что маркетолог провёл тест 2 рекламных креативов:
- Вариант А: 1000 показов, 50 кликов (CTR = 5%)
- Вариант Б: 1100 показов, 77 кликов (CTR = 7%)
Необходимо определить, действительно ли Вариант Б эффективнее, или разница в 2% случайна.
Шаг 1. Таблица сопряжённости
| Вариант | Кликнули | Не кликнули | Всего показов |
|---|---|---|---|
| Вариант А | 50 | 950 | 1000 |
| Вариант Б | 77 | 1023 | 1100 |
| Итого | 127 | 1973 | 2100 |
Шаг 2. Расчёт ожидаемых частот (E)
Ожидаемая частота для каждой ячейки: E = (Сумма по строке × Сумма по столбцу) / Общее итого
- Для ячейки «Вариант А / Кликнули»: E = (1000 × 127) / 2100 ≈ 60,48
- Для ячейки «Вариант А / Не кликнули»: E = (1000 × 1973) / 2100 ≈ 939,52
- Для ячейки «Вариант Б / Кликнули»: E = (1100 × 127) / 2100 ≈ 66,52
- Для ячейки «Вариант Б / Не кликнули»: E = (1100 × 1973) / 2100 ≈ 1033,48
Шаг 3. Вычисление значения хи-квадрат
χ² = (50-60,48)²/60,48 + (950-939,52)²/939,52 + (77-66,52)²/66,52 + (1023-1033,48)²/1033,48 = 3,69
Шаг 4. Оценка статистической значимости
Число степеней свободы (df) для таблицы 2×2: df = (2-1) × (2-1) = 1
При df = 1 и уровне значимости α = 0,05 (вероятность ошибки 5%) критическое значение составляет 3,84.
Так как расчётное значение (χ² = 3,69) меньше критического (3,84), нулевая гипотеза не отвергается. Разница в CTR между вариантами статистически незначима. Тест необходимо продолжить для набора большей выборки.
Где применяется
[править]Интернет-маркетинг
[править]- Анализ эффективности рекламных каналов
- Сравнение CTR разных объявлений
- Анализ конверсий различных сегментов
- Исследование поведения пользователей
- Оценка результатов A/B-тестов (для категориальных данных)
CRM
[править]Используется для проверки связи между характеристиками клиентов:
- Пол и вероятность покупки
- Регион и средний чек
- Тариф и уровень удержания
- Участие в программе лояльности и повторные покупки
Веб-аналитика
[править]Позволяет определить, связаны ли между собой:
- Источник трафика
- Устройство
- Тип пользователя
- Достижение цели
- Совершение покупки
Основные задачи
[править]Проверка независимости
[править]Самый распространённый вариант использования. Позволяет ответить на вопрос: зависит ли 1 признак от другого?
Например:
- Зависит ли покупка от возраста
- Зависит ли конверсия от источника трафика
- Влияет ли регион на выбор тарифа
Проверка согласия
[править]Определяет, соответствует ли наблюдаемое распределение ожидаемому. Например, ожидалось, что продажи распределятся между четырьмя категориями поровну. Фактические данные позволяют проверить, произошло ли отклонение случайно.
Преимущества
[править]| Преимущество | Описание |
|---|---|
| Простота применения | Не требует сложных вычислений, доступен в любом статистическом пакете |
| Подходит для категориальных данных | Работает с номинальными и порядковыми переменными |
| Масштабируемость | Хорошо работает на больших выборках |
| Широкое применение | Используется в маркетинговых исследованиях, социологии, медицине |
Ограничения
[править]| Ограничение | Описание |
|---|---|
| Не показывает силу связи | Только отвечает на вопрос «есть ли связь», но не измеряет её силу |
| Требует достаточного объёма выборки | Общее количество наблюдений должно быть больше 50 |
| Чувствителен к малым ожидаемым значениям | Ожидаемые частоты в каждой ячейке должны быть не менее 5 |
| Не подходит для непрерывных данных | Требуется предварительное преобразование в категории |
Хи-квадрат и A/B-тестирование
[править]При сравнении конверсий 2 вариантов страницы часто используют:
- Критерий χ²
- z-тест пропорций
- Точный критерий Фишера (для малых выборок)
Для больших выборок результаты χ² и z-теста практически совпадают.
Когда используют другие методы
[править]Хи-квадрат не подходит для анализа:
- Средних значений (используют t-тест или ANOVA)
- Корреляции непрерывных величин (коэффициент корреляции)
- Регрессионного анализа
- Прогнозирования
Часто задаваемые вопросы
[править]Что такое хи-квадрат простыми словами?
[править]Хи-квадрат - это способ проверить, не случайно ли отличаются две группы. Например, если у 1 объявления CTR 5%, а у другого 7%, хи-квадрат покажет: разница реальная или это просто «шум» из-за того, что выборка слишком маленькая.
Какой уровень значимости использовать в хи-квадрат?
[править]Стандартный уровень значимости в маркетинговых исследованиях - 0,05 (5%). Это означает, что мы готовы ошибиться в 5% случаев. Для более строгих исследований используют 0,01 (1%). Выбор зависит от цены ошибки: если ошибка дорогая - берите 0,01.
Почему для A/B-тестов используют хи-квадрат, а не t-тест?
[править]Хи-квадрат работает с категориальными данными (кликнул / не кликнул, купил / не купил). t-тест работает с непрерывными данными (средний чек, время на сайте). Для конверсий и CTR правильный выбор - хи-квадрат.
Что делать, если ожидаемые частоты меньше 5?
[править]Использовать Точный критерий Фишера (для таблиц 2×2) или применять поправку Йейтса. Также можно увеличить выборку или объединить категории с малыми частотами.
Как интерпретировать значение хи-квадрат?
[править]Чем больше значение χ², тем выше вероятность, что различия статистически значимы. Но интерпретировать нужно не само значение, а p-value - вероятность ошибки. Если p-value < 0,05 - различия значимы. Если p-value > 0,05 - различия случайны.
