WeFair-2B внедрили в поиск коротких видео WeChat: запросы переписывает нейросеть

Статья описывает WeFair (Fidelity-Aware Alignment from Human Feedback), способ обучить компактный переписыватель запросов для поиска коротких видео в WeChat. Задача такого переписывателя, по неоднозначному запросу восстановить личное намерение пользователя в условиях жёстких ограничений по задержке.

Отправная точка, слабое место существующих методов на основе больших языковых моделей. Они улучшали переписывание с помощью синтетических рассуждений и обратной связи из поведения пользователя после поиска (последующего потребления контента). Но, по словам авторов, чрезмерный упор на последующее потребление может сместить результат в сторону увлекательного контента вместо сиюминутной потребности пользователя. Возникает дрейф намерения, даже если переписанный запрос опирается на историю поведения.

Идея WeFair, использовать человеческую обратную связь с учётом того, насколько прямо она отражает личное намерение. Каждому виду обратной связи приписывается своя «точность» (fidelity) в последовательности от демонстрации к предпочтению и к проверке. Сначала из поисковых сессий добывают реальные запросы и переформулировки пользователей, затем отбирают те, у которых есть поддержка в контексте.

Обучение идёт в три стадии. Демонстрация: учебный план дообучения с учителем (supervised fine-tuning) идёт от масштабного обучения «контекст → запрос» к рассуждению и прямому предсказанию на примерах человеческой переформулировки и сохранения запроса. Предпочтение: метод прямой оптимизации предпочтений (DPO) учит относительные предпочтения по обратной связи из последующего потребления. Проверка: метод GRPO (group relative policy optimization) вознаграждает точное совпадение с целевыми вариантами, переформулировать запрос или сохранить как есть, чтобы ограничить дрейф намерения.

Дополнительный анализ показывает, что широкий набор обучающих данных помогает полному учебному плану дообучения с учителем, а строгая проверка даёт лучшее качество, чем вспомогательные вознаграждения.

Результаты: в офлайн-экспериментах модель WeFair-2B превосходит сильные базовые методы переписывания по общей точности и сохранению намерения. В онлайн-A/B-тесте относительный рост доли эффективных просмотров видео составил 2,593%, а относительное снижение доли повторных переформулировок запроса, 2,350%. WeFair-2B уже внедрена в поиск коротких видео WeChat, который обслуживает свыше 100 миллионов запросов в день (это объём всей системы, а не доля самой модели).

Ключевые факты

WeFair, трёхстадийное обучение переписывателя запросов для поиска коротких видео WeChat: демонстрация, предпочтение (DPO), проверка (GRPO).
Проблема, которую решают: упор на последующее потребление контента приводит к дрейфу намерения, выдача уходит к увлекательному, а не к нужному пользователю.
Обучающие данные, реальные запросы и переформулировки пользователей из поисковых сессий, отобранные по поддержке в контексте.
Онлайн-A/B-тест: эффективные просмотры видео, плюс 2,593% (относительно), повторные переформулировки запроса, минус 2,350% (относительно).
WeFair-2B внедрена в поиск коротких видео WeChat; вся система обслуживает свыше 100 миллионов запросов в день.

Почему это важно

Переписывание запросов, рабочий узел в поиске: от того, как нейросеть истолкует короткий неоднозначный запрос, зависит выдача. Работа показывает конкретную ловушку: если оптимизировать модель по тому, что пользователь потом смотрит, она начинает подсовывать увлекательное вместо нужного. Авторы предлагают разные уровни доверия к обратной связи и результат подтверждают не только офлайн, но и онлайн-тестом в системе с более чем 100 миллионами запросов в день.

Кому это важно

Командам поиска и рекомендаций, которые строят переписывание запросов на небольших языковых моделях, и тем, кто настраивает модели по пользовательской обратной связи (DPO, GRPO). Идея различать обратную связь по тому, насколько прямо она отражает намерение, применима и за пределами видеопоиска, но источник проверял её только в WeChat.

Как это применить

Источник описывает схему, а не готовый продукт: сначала добыть из сессий реальные запросы и переформулировки и отфильтровать по контекстной поддержке; затем дообучение с учителем по учебному плану; затем DPO по сигналам последующего потребления; затем GRPO с наградой за точное совпадение с целью (переформулировать или сохранить запрос). По анализу авторов, строгая проверка работает лучше вспомогательных вознаграждений. Ссылок на код, данные или веса в источнике нет.

Можно ли доверять

Это аннотация научной статьи, выводы, самих авторов. Онлайн-прирост приведён в относительных процентах (2,593% и 2,350%); длительность A/B-теста, доля трафика и контрольная группа не указаны. В офлайне сказано лишь, что WeFair-2B превосходит «сильные базовые методы», без цифр и названий. Что означает «2B» и на какой базовой модели построена WeFair-2B, тоже не сказано. Имена авторов и организации в источнике не названы.

Риски и подводные камни

Цифры 100 миллионов запросов в день относятся ко всей системе поиска, а не к доле WeFair-2B. Прирост в пару процентов получен на конкретной платформе и может не перенестись на другие. Сам метод опирается на человеческие переформулировки из сессий, поэтому качество зависит от того, насколько они отражают реальное намерение. Данные о задержке в источнике не приведены, хотя ограничения по ней заявлены как ключевые.