Профицит
Профицит - метрика качества поисковой выдачи, используемая компанией Яндекс для оценки полезности результатов поиска и успешности решения задачи пользователя. Профицит рассчитывается на основе взаимодействий пользователей с элементами поисковой выдачи и является одной из ключевых метрик при обучении алгоритмов ранжирования.
Суть
[править]Профицит (Proficit) - метрика полезности выдачи, которая характеризует, насколько быстро и успешно пользователь решает свою задачу с помощью поиска. Чем быстрее пользователь находит нужную информацию и чем меньше ему требуется дополнительных действий, тем выше значение Профицита.
В идею метрики встроена логика «как можно быстрее решить задачу пользователя». Выдача считается тем лучше, чем выше в ней находится ответ, решающий проблему.
Как рассчитывается Профицит
[править]Профицит рассчитывается на основе анализа взаимодействий пользователей с элементами поисковой выдачи. Расчет производится по следующим правилам:
- каждое взаимодействие пользователя с элементом выдачи оценивается как успешное или неуспешное;
- если взаимодействие признано успешным (например, пользователь перешел на внешний сайт и долго не возвращался в поиск), метрика увеличивается;
- если взаимодействие признано неуспешным (пользователь быстро вернулся на страницу результатов или ему пришлось переформулировать запрос), метрика уменьшается;
- наибольшее снижение применяется к наиболее заметным элементам, занимающим большую площадь в выдаче;
- если вся выдача в целом не смогла удовлетворить потребность пользователя и запрос пришлось переформулировать, метрика также снижается.
Метрика учитывает как клики по результатам поиска (ссылки, профили компаний, номера телефонов), так и бескликовые взаимодействия, когда пользователь нашел нужную информацию непосредственно в выдаче.
Профицит и Проксима
[править]Профицит тесно связан с другой метрикой Яндекса - Proxima.
- Проксима оценивает качество отдельных страниц на основе оценок асессоров и дополнительных сигналов (релевантность, экспертность, полезность контента).
- Профицит оценивает полезность всей выдачи в целом, исходя из реальных взаимодействий пользователей.
Взаимное расположение и набор элементов на странице результатов выстраиваются так, чтобы достичь максимальных предсказанных значений Профицита и Проксимы для страницы в целом. Если элементы расставлены в другом порядке, итоговый рассчитанный Профицит всей выдачи будет ниже. Когда фактический Профицит конкретной выдачи отличается от предсказанного значения, алгоритм учитывает это при последующем обучении.
Роль в оценке изменений алгоритмов
[править]Профицит является одной из 2 ключевых метрик (наряду с Проксимой), на основе которых оцениваются потенциальные изменения в алгоритмах поиска.
Схема внедрения изменений выглядит так:
- Изменения, признанные целесообразными по результатам оценки асессоров, проверяются в онлайн-эксперименте.
- Пользователи случайным образом делятся на 2 группы: одна получает новую функциональность, другая - текущую версию поиска.
- После накопления достаточных данных команда Яндекса принимает решение на основе приемки метрик качества, главной из которых является Профицит.
