Netflix Prize - это открытый конкурс по машинному обучению, проведённый компанией Netflix в 2006-2009 годах с целью улучшить алгоритм рекомендаций (Cinematch) для предсказания пользовательских оценок фильмов. Победитель конкурса, команда BellKor’s Pragmatic Chaos, получила приз в размере 1 миллиона долларов за повышение точности предсказаний на 10,06% по сравнению с базовым алгоритмом.
Для интернет-маркетолога и специалиста по аналитике данных Netflix Prize является историческим событием, которое положило начало эре практического применения машинного обучения в рекомендательных системах, персонализации и продуктовой аналитике. Идеи и методы, разработанные в рамках конкурса, сегодня используются повсеместно: от рекомендаций товаров на маркетплейсах и контента в стриминговых сервисах до персонализированных предложений в email-маркетинге и динамических креативов в рекламе.
Коротко: Netflix Prize - это конкурс, который научил мир персонализации. За 1 миллион долларов участники улучшили алгоритм рекомендаций Netflix на 10%, а разработанные методы (матричная факторизация, ансамбли) до сих пор лежат в основе рекомендаций Amazon, Spotify и YouTube.
| Дата |
Событие
|
| Октябрь 2006 |
Netflix объявляет о запуске конкурса. Предоставляет анонимизированный датасет из 100 млн оценок (1-5 звёзд) от 480 000 пользователей к 18 000 фильмов
|
| Июль 2007 |
Достигнуто улучшение на 8,43%
|
| Октябрь 2007 |
Улучшение на 9,34%
|
| Апрель 2008 |
Достигнут порог 10%
|
| Июнь 2009 |
Команда BellKor’s Pragmatic Chaos достигает улучшения на 10,06% и выигрывает главный приз
|
| Сентябрь 2009 |
Netflix вручает награду и публикует технические детали решения
|
Netflix стремился улучшить свой рекомендательный алгоритм Cinematch, который предсказывал, какую оценку (от 1 до 5 звёзд) пользователь поставит фильму на основе его предыдущих оценок и оценок похожих пользователей.
Задача: Улучшить точность предсказаний (RMSE - Root Mean Square Error) на 10% по сравнению с базовым алгоритмом Cinematch.
| Метрика |
Базовый алгоритм (Cinematch) |
Целевой показатель
|
| RMSE |
0,9514 |
< 0,8563 (улучшение на 10%)
|
| Характеристика |
Значение
|
| Количество оценок |
100 480 507
|
| Количество пользователей |
480 189
|
| Количество фильмов |
17 770
|
| Диапазон оценок |
1-5 звёзд
|
| Датасет |
2,4 ГБ (сжатый)
|
| Тестовый набор |
2,8 млн оценок для проверка
|
Ключевые методы и открытия
[править]
| Метод |
Описание |
Влияние
|
| Матричная факторизация (Matrix Factorization) |
Разложение матрицы «пользователь-фильм» на два скрытых пространства: пользовательские факторы (интересы) и фильмовые факторы (жанры, стили). Каждый пользователь и фильм представляется вектором скрытых признаков |
Стал основой современных рекомендательных систем (ALS, SVD)
|
| Ансамблирование (Ensemble Methods) |
Объединение десятков моделей (матричная факторизация, Restricted Boltzmann Machines, kNN, регрессия) с разными весами для достижения наилучшего результата |
Показало, что комбинация разных подходов даёт лучший результат, чем одна идеальная модель
|
| Регуляризация |
Методы предотвращения переобучения (L2-регуляризация, ранняя остановка) |
Позволили создавать сложные модели, устойчивые к шуму данных
|
| Асимметричные модели |
Учёт смещения (bias) пользователей (один ставит в среднем 4, другой - 3) и фильмов (один фильм в среднем 4,5, другой - 2,5) |
Простое, но очень эффективное улучшение
|
| Область |
Влияние Netflix Prize
|
| Рекомендательные системы |
Матричная факторизация (SVD, ALS) стала стандартом для построения рекомендаций в e-commerce (Amazon), стриминге (Netflix, Spotify), видео (YouTube, VK Видео)
|
| Машинное обучение |
Конкурс популяризировал работу с большими данными и показал эффективность ансамблевых методов, что привело к развитию XGBoost, LightGBM и других инструментов
|
| Маркетинговая аналитика |
Методы персонализации, разработанные для Netflix Prize, используются для сегментации клиентов, прогнозирования LTV, оптимизации рекомендаций в email-маркетинге
|
| Продуктовая аналитика |
Подходы к предсказанию пользовательских предпочтений легли в основу A/B-тестирования и управления пользовательским опытом (UX)
|
| Открытые данные |
Конкурс продемонстрировал ценность открытых датасетов для развития индустрии. Позже были проведены конкурсы с аналогичным форматом (Kaggle)
|
| Технология |
Происхождение |
Современное применение
|
| ALS (Alternating Least Squares) |
Развитие матричной факторизации из Netflix Prize |
Рекомендации в Spark MLlib, Amazon Personalize, Яндекс.Аудитории
|
| SVD++ |
Расширение SVD с учётом неявной обратной связи (просмотры, клики) |
Современные рекомендательные системы, учитывающие не только оценки, но и поведение
|
| Ансамбли |
Комбинация десятков моделей |
XGBoost, LightGBM, CatBoost - современные инструменты машинного обучения, основанные на ансамблировании деревьев решений
|
| A/B-тестирование |
Netflix внедрил систему A/B-тестов для оценки рекомендаций после конкурса |
Стандартная практика для всех цифровых продуктов
|
Современные рекомендательные системы
[править]
| Платформа |
Технология
|
| Netflix |
Deep learning, двухбашенные модели (two-tower), персонализированные обложки для каждого пользователя
|
| Spotify |
Collaborative filtering, NLP для анализа текстов песен и подкастов
|
| Amazon |
Item-to-item collaborative filtering, персонализация на основе истории покупок и просмотров
|
| YouTube |
Deep neural networks для рекомендаций видео
|
| Яндекс.Дзен |
Рекомендательная система на основе поведенческих данных и машинного обучения
|
