Recall
Recall (полнота, чувствительность) - метрика качества моделей классификации, показывающая, какую долю объектов положительного класса модель смогла правильно обнаружить среди всех объектов, действительно принадлежащих этому классу. Рассчитывается как отношение истинно положительных (True Positives) к сумме истинно положительных и ложно отрицательных (False Negatives) результатов.
В интернет-маркетинге и аналитике понятие важно при оценке моделей прогнозирования оттока клиентов, обнаружения мошеннических транзакций (fraud detection) и рекомендательных систем. Например, при прогнозировании оттока Recall показывает, какую долю клиентов, действительно готовых уйти, модель смогла выявить. Высокий Recall важен в сценариях, где «пропустить» целевую группу (False Negative) критичнее, чем ошибочно отнести к ней обычного клиента (False Positive).
Коротко: Recall - это доля реальных объектов целевого класса, которые модель смогла найти. Если из 100 реальных мошеннических транзакций система нашла 80, Recall = 80%. Чем выше Recall, тем меньше модель «пропускает» важные случаи.
Математическое определение
[править]Recall рассчитывается на основе 4 категорий результатов классификации, составляющих матрицу ошибок (confusion matrix):
| Категория | Описание |
|---|---|
| True Positive (TP) | Объект правильно отнесён к целевому классу |
| False Negative (FN) | Объект целевого класса ошибочно пропущен (отнесён к другому классу) |
| False Positive (FP) | Объект другого класса ошибочно отнесён к целевому |
| True Negative (TN) | Объект другого класса правильно не отнесён к целевому |
Формула расчёта:
<math>\mathrm{Recall} = \frac{TP}{TP + FN}</math>
Пример
[править]Если среди 100 реально мошеннических транзакций модель обнаружила 85, а 15 пропустила, то Recall составит:
<math>\frac{85}{85 + 15} = 0.85</math>, или 85%.
Интерпретация
[править]Recall отвечает на вопрос: «Какая доля всех реальных объектов целевого класса была найдена?»
| Значение Recall | Интерпретация |
|---|---|
| 1.0 | Идеальное значение: найдены все объекты целевого класса (FN = 0) |
| 0.0 | Модель не нашла ни одного объекта целевого класса (TP = 0) |
Баланс с Precision
[править]Recall и Precision находятся в компромиссном соотношении. Повышение Recall обычно сопровождается снижением Precision и наоборот. Поэтому при выборе модели важно учитывать стоимость ложноположительных (False Positive) и ложноотрицательных (False Negative) ошибок.
| Метрика | Формула | На что отвечает |
|---|---|---|
| Recall | TP / (TP + FN) | «Сколько реальных объектов целевого класса мы нашли?» |
| Precision | TP / (TP + FP) | «Сколько из найденных объектов действительно принадлежат целевому классу?» |
Компромисс между Recall и Precision управляется порогом классификации:
- Понижение порога → больше объектов относятся к целевому классу → Recall растёт, Precision падает (больше False Positive).
- Повышение порога → меньше объектов относятся к целевому классу → Recall падает, Precision растёт (меньше False Positive).
Применение в интернет-маркетинге
[править]Прогнозирование оттока (Churn Prediction)
[править]Высокий Recall в модели прогнозирования оттока означает, что система выявляет большинство клиентов, действительно склонных к уходу. Это позволяет вовремя запустить удерживающую кампанию и предотвратить потерю клиентов.
Обнаружение мошенничества (Fraud Detection)
[править]В системах антифрода Recall критичен: пропущенная мошенническая транзакция (False Negative) наносит прямой финансовый ущерб. Здесь Recall часто важнее Precision.
Рекомендательные системы
[править]При оценке рекомендаций Recall показывает, какую долю товаров, которые действительно могли бы заинтересовать пользователя, система смогла ему предложить.
Lead Scoring
[править]Recall показывает, какую долю действительно перспективных лидов модель смогла определить как потенциальных покупателей. Высокий Recall снижает вероятность потерять клиентов с высокой вероятностью покупки.
Когда Recall важнее Precision
[править]Высокий Recall предпочтителен в задачах, где стоимость пропуска целевого объекта значительно выше стоимости ложного срабатывания. К таким задачам относятся:
- обнаружение мошенничества;
- медицинская диагностика;
- прогнозирование оттока клиентов;
- выявление критических инцидентов;
- системы информационной безопасности.
Связь с F1-score
[править]F1-score - это гармоническое среднее между Recall и Precision, используемое, когда нужно найти баланс между полнотой и точностью:
<math>F1\text{-}score = 2 \times \frac{Precision \times Recall}{Precision + Recall}</math>
Типы усреднения Recall
[править]В задачах с несколькими классами используются различные способы усреднения Recall по классам:
| Тип усреднения | Описание |
|---|---|
| Macro | Среднее арифметическое Recall по всем классам без учёта их размера |
| Micro | Суммарный Recall по всем классам (рассчитывается по суммарному количеству TP, FP и FN для всех классов) |
| Weighted | Среднее с учётом размера каждого класса (вес пропорционален количеству объектов) |
| Samples | Для многометочной классификации: усреднение Recall по отдельным образцам |
