UserArena: бенчмарк для симуляции покупателей на 64 729 реальных сессиях магазина
В статье представлен UserArena, интерактивный бенчмарк на данных реального интернет-магазина. Он нужен для разработки и оценки агентных рекомендательных систем: они добиваются целей покупателя через цепочки решений, зависящих от контекста, а для их проверки требуются достоверные «мировые модели» рекомендаций, то есть и интерактивная среда покупок, и реакции пользователей на протяжении длинных взаимодействий.
По мнению авторов, существующим ресурсам такого не хватает: они редко содержат длинные детализированные траектории реальных пользователей и редко позволяют оценивать поведение на уровне траекторий и сверять результаты офлайн с итогами производственных A/B-тестов.
В UserArena вошли 64 729 сессионных траекторий 11 010 пользователей, охватывающих 566 102 товара и 13 типов действий. Траектории дополнены интерактивной средой, а офлайн-результаты можно сопоставлять с итогами контролируемого производственного A/B-теста. Это позволяет оценивать симуляторы на пяти уровнях: от корректности выдачи и локальных решений до последовательного поведения, персонализации и итоговых исходов.
Для повышения точности симулятора на длинных взаимодействиях авторы предлагают метод On-Policy Trajectory Distillation (OPTD, дистилляция траекторий в режиме on-policy). Он использует намерение на уровне всей траектории, чтобы давать плотные целевые сигналы учителя на прогонах, которые генерирует сам ученик.
По заявлению авторов, в экспериментах OPTD показал наилучшую общую точность среди оценённых симуляторов по протоколу UserArena и ближе всех воспроизвёл эффект производственной политики в офлайн-симуляции.
Ключевые факты
- UserArena, интерактивный бенчмарк на реальных данных электронной коммерции: 64 729 сессионных траекторий, 11 010 пользователей, 566 102 товара, 13 типов действий.
- К траекториям прилагается интерактивная среда; результаты можно сверять с итогами контролируемого производственного A/B-теста.
- Оценка идёт на пяти уровнях: от корректности выдачи и локальных решений до последовательного поведения, персонализации и исходов.
- Метод OPTD использует намерение на уровне траектории, чтобы давать плотные целевые сигналы учителя на прогонах ученика.
- По заявлению авторов, OPTD показал наилучшую общую точность среди оценённых симуляторов и ближе всех воспроизвёл эффект производственной политики.
Почему это важно
Агентные рекомендательные системы нужно разрабатывать и оценивать на достоверных «мировых моделях» рекомендаций, которые учитывают и интерактивную среду покупок, и реакции пользователей на длинной дистанции. Для этого нужны симуляторы пользователей, которые ведут себя как настоящие покупатели на длинной дистанции. Авторы утверждают, что таких ресурсов с длинными реальными траекториями и офлайн-сверкой с результатами A/B-тестов почти нет, и UserArena призван закрыть этот пробел.
Кому это важно
Исследователям рекомендательных систем и агентов для покупок, командам электронной коммерции, которые строят симуляторы пользователей, и тем, кто оценивает политики рекомендаций офлайн, не запуская каждый раз эксперимент на реальных покупателях.
Как это применить
Бенчмарк можно использовать для сравнения симуляторов пользователей по пяти уровням оценки и для проверки, насколько офлайн-симуляция воспроизводит эффект производственной политики. Метод OPTD предлагается как способ повысить точность симулятора на длинных взаимодействиях. В описании не сказано о публикации данных или кода, поэтому доступность стоит проверять в самой статье.
Можно ли доверять
Это препринт; все выводы, заявления самих авторов. Приведены размеры набора данных, но нет числовых результатов OPTD, названий симуляторов, с которыми его сравнивали, и параметров производственного A/B-теста. Утверждение «наилучшая точность» относится только к оценённым симуляторам и протоколу UserArena. Источник данных (какая платформа) в описании не назван.
Риски и подводные камни
Превосходство OPTD показано на собственном протоколе оценки авторов и на ограниченном наборе сравниваемых симуляторов, так что обобщать его на другие магазины и сценарии рано. Без числовых результатов и деталей A/B-теста трудно судить о величине выигрыша. Данные взяты из одного реального сервиса электронной коммерции, поэтому перенос на другие рынки и типы покупателей не гарантирован.