Градиентный бустинг

Градиентный бустинг (от англ. gradient boosting) - это метод машинного обучения, который используется для решения задач классификации, регрессии и ранжирования. Он относится к семейству ансамблевых методов и основан на идее последовательного построения композиции из простых алгоритмов (обычно решающих деревьев), где каждый следующий алгоритм стремится скорректировать ошибки предыдущих.

Для маркетолога и аналитика данных градиентный бустинг представляет собой 1 из самых мощных инструментов прогнозной аналитики. Он широко применяется в поисковом ранжировании, рекомендательных системах, таргетировании рекламы, прогнозировании оттока клиентов и оценке пожизненной ценности (LTV). Благодаря способности эффективно находить нелинейные зависимости в табличных, неоднородных данных (например, описание пользователя: возраст, пол, частота запросов, история покупок), градиентный бустинг демонстрирует высокое качество в подавляющем большинстве прикладных задач.

Введение в ансамблевые методы

Ансамблевые методы в машинном обучении основаны на идее объединения множества простых алгоритмов (слабых учеников) для создания более мощной модели. Существует 2 основных подхода к построению ансамблей:

• Бэггинг (например, случайный лес) - базовые алгоритмы строятся независимо друг от друга, а затем их предсказания усредняются. Это уменьшает разброс (переобучение) модели.
• Бустинг - базовые алгоритмы строятся последовательно, и каждый следующий алгоритм старается уменьшить ошибку текущего ансамбля. Это позволяет уменьшить смещение модели и достичь более высокой точности.

Градиентный бустинг является наиболее мощной и гибкой реализацией идеи бустинга, поскольку он позволяет оптимизировать произвольную дифференцируемую функцию потерь.

Интуитивное понимание

Для понимания сути градиентного бустинга можно рассмотреть аналогии.

Аналогия с гольфистом. Представлен гольфист, цель которого - загнать мяч в лунку. Он может ударить 1 раз, не попасть в цель и уйти. Но упорный гольфист продолжит: он оценивает текущее положение мяча и следующим ударом старается нивелировать ошибки предыдущих. Подбираясь к лунке, он бьёт аккуратнее, возможно, даже берёт другую клюшку. Комбинация всех ударов в итоге доставляет мяч в цель. Точно так же градиентный бустинг с каждым новым алгоритмом всё больше приближает предсказание к истинному значению.

Аналогия с рядом Тейлора. Любую достаточно гладкую функцию можно разложить в бесконечную сумму степенных функций. Первая функция в разложении очень грубо приближает исходную. Добавляя следующую, получается более точное приближение. Каждая следующая функция увеличивает точность, но вносит всё меньший вклад. В машинном обучении восстанавливается неизвестная истинная зависимость: первый простой алгоритм даёт грубое приближение, а каждый следующий уточняет его.

Математическая основа

Рассматривается задача регрессии с квадратичной функцией потерь. Строится композиция из базовых алгоритмов (решающих деревьев):

a_N(x) = Σ_t=1^N b_t(x)

где b_t - базовые алгоритмы.

Процесс построения выглядит следующим образом:

1. Обучается первый алгоритм b₁, который наилучшим образом приближает целевую переменную.
2. Вычисляются разности между истинными значениями и предсказаниями первого алгоритма: s₁(x) = y - b₁(x)
3. Обучается второй алгоритм b₂ предсказывать эти разности. Тогда композиция b₁ + b₂ будет точнее.
4. Процесс повторяется: на каждом шаге t вычисляется разность между правильным ответом и текущим предсказанием композиции: s_t(x) = y - a_t-1(x), и обучается следующий алгоритм предсказывать эту разность.

Ключевое наблюдение: для квадратичной функции потерь разность выражается через производную:

∂L/∂a = a(x) - y

Таким образом, каждый следующий алгоритм обучается предсказывать антиградиент функции потерь в точке текущего предсказания. Это позволяет обобщить метод на произвольную дифференцируемую функцию потерь.

Обобщение на произвольные функции потерь

Для произвольной дифференцируемой функции потерь L(y, a) алгоритм градиентного бустинга выглядит следующим образом:

1. Композиция инициализируется константным значением: a₀(x) = argmin_γ Σ L(yᵢ, γ)
2. Для t = 1 до T:

      Вычисляются псевдо-остатки (отрицательный градиент) для каждого объекта: rᵢₜ = - [∂L(yᵢ, a(xᵢ)) / ∂a(xᵢ)] для текущей композиции at-1
      Обучается базовый алгоритм bₜ предсказывать эти псевдо-остатки по признакам xᵢ
      Находится оптимальный шаг γₜ = argminγ Σ L(yᵢ, at-1(xᵢ) + γ bₜ(xᵢ))
      Обновляется композиция: aₜ = at-1 + ν γₜ bₜ, где ν - коэффициент обучения (learning rate)

Коэффициент обучения (learning rate) контролирует, насколько сильно каждое новое дерево корректирует ошибки предыдущих. Меньшие значения требуют большего количества деревьев, но обычно дают лучшее качество.

Ключевые параметры

При использовании градиентного бустинга необходимо настраивать несколько важных параметров:

• n_estimators - количество деревьев в ансамбле. Увеличение числа деревьев повышает сложность модели и может привести к переобучению.
• learning_rate - скорость обучения (темп подстройки). Меньшие значения (0.01-0.1) требуют больше деревьев, но уменьшают риск переобучения.
• max_depth - максимальная глубина деревьев. Обычно используются неглубокие деревья (от 1 до 5 уровней), что делает модель компактной и ускоряет вычисления.
• subsample - доля объектов, используемая для обучения каждого дерева (стохастический градиентный бустинг). Позволяет уменьшить переобучение.
• min_samples_split / min_samples_leaf - параметры, ограничивающие дальнейшее разбиение деревьев.

Преимущества и недостатки

Преимущества градиентного бустинга:

• Высокое качество предсказаний. На табличных данных градиентный бустинг часто показывает наилучшие результаты среди всех методов машинного обучения, включая нейросети.
• Способность работать с разнородными данными (числовыми и категориальными признаками).
• Устойчивость к пропущенным значениям (в некоторых реализациях).
• Возможность оценивать важность признаков, что помогает в интерпретации модели.

Недостатки:

• Чувствительность к настройке параметров. Для достижения хороших результатов требуется подбор гиперпараметров.
• Склонность к переобучению при слишком большом количестве деревьев или недостаточной регуляризации.
• Последовательное обучение затрудняет параллелизацию, хотя современные реализации (XGBoost, LightGBM, CatBoost) частично решают эту проблему.
• Менее эффективен на однородных данных: текстах, изображениях, звуке, видео. В таких задачах нейросетевые подходы почти всегда лучше.

Популярные реализации

На практике используются несколько высокооптимизированных библиотек градиентного бустинга:

• XGBoost (eXtreme Gradient Boosting) - одна из первых и наиболее популярных реализаций. Отличается высокой скоростью работы и богатыми возможностями регуляризации. Широко используется в соревнованиях по машинному обучению.
• LightGBM (Light Gradient Boosting Machine) - разработка Microsoft, оптимизированная для работы с большими данными. Использует одностороннюю выборку на основе градиента (GOSS) для ускорения обучения.
• CatBoost (Categorical Boosting) - разработка Яндекса, которая автоматически обрабатывает категориальные признаки без предварительного кодирования.

Применение в интернет-маркетинге

Градиентный бустинг широко применяется в различных маркетинговых задачах:

• Поисковое ранжирование. Определение порядка выдачи результатов по запросу пользователя.
• Рекомендательные системы. Предсказание того, какие товары или контент с наибольшей вероятностью заинтересуют пользователя.
• Таргетирование рекламы. Оценка вероятности клика или конверсии для каждого показа рекламы.
• Прогнозирование оттока клиентов. Определение пользователей, которые с наибольшей вероятностью перестанут пользоваться сервисом.
• Оценка LTV. Предсказание пожизненной ценности клиента на основе ранних действий.
• Прогнозирование спроса. Оценка будущих продаж для оптимизации запасов.

Пример использования в Python

Ниже приведён пример использования градиентного бустинга из библиотеки scikit-learn для классификации:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

# Загрузка данных
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
    cancer.data, cancer.target, random_state=0)

# Создание и обучение модели
gbrt = GradientBoostingClassifier(random_state=0, max_depth=1, learning_rate=0.1)
gbrt.fit(X_train, y_train)

# Оценка качества
print("Правильность на обучающем наборе:", gbrt.score(X_train, y_train))
print("Правильность на тестовом наборе:", gbrt.score(X_test, y_test))

Для крупномасштабных задач рекомендуется использовать XGBoost или LightGBM, которые работают быстрее и часто проще настраиваются.

Стохастический градиентный бустинг

Разновидность метода, при которой на каждой итерации обучения используется случайная подвыборка данных (параметр subsample). Это позволяет:

• Уменьшить переобучение.
• Ускорить обучение за счёт работы с меньшим объёмом данных на каждом шаге.
• Внести элемент случайности, что иногда улучшает обобщающую способность модели.

Связанные термины

• Машинное обучение
• Решающее дерево
• Случайный лес
• XGBoost
• CatBoost
• Ранжирование
• Рекомендательная система
• LTV