Метод RAW оценил цену отказа нейросети для пользователей по логам

Нейросети в продакшене обрабатывают сотни миллионов диалогов в день и отказываются выполнять заметную долю запросов. При этом, как пишут авторы препринта, цена отказа для пользователя (уходит ли он и насколько сильно) не измерена ни на одной боевой модели. Для потребительских платформ, построенных на таких моделях, это слепое пятно.

Прямой A/B-тест отказа затруднён: на продуктах передовых лабораторий он ограничен этически и операционно, а сторонним платформам, которые используют модели через фиксированный API, недоступен вовсе.

Авторы предлагают метод RAW. Идея в том, чтобы использовать стохастичность (случайность) языковых моделей как естественный эксперимент. В любом существующем журнале диалогов на почти одинаковые запросы одна и та же модель иногда отказывает, а иногда отвечает. По утверждению авторов, эта вариация позволяет выделить причинный эффект отказа на поведение пользователя.

Метод применили к 15 развёрнутым моделям на данных LMSYS-Chat-1M и WildChat, со статистическим выводом, кластеризованным по пользователям. Результат: примерно для половины моделей, которые удалось измерить точно, один отказ стоит от 3 до 17 процентных пунктов последующего повторного взаимодействия (re-engagement). У остальных различимого эффекта нет. Среди них есть одно развёртывание с положительной точечной оценкой; авторы объясняют её настойчивыми пользователями, которые повторяют отклонённый запрос.

Главный вклад работы, по словам авторов, это сам метод измерения. Он работает на любой развёрнутой модели только по логам и стоит около 0,30 доллара за 1000 диалогов. Авторы публикуют метки, оценки модерации, эмбеддинги запросов и код конвейера обработки.

Ключевые факты

  • RAW использует случайность модели как естественный эксперимент: на почти одинаковые запросы одна и та же модель то отказывает, то отвечает, и по этой разнице оценивается причинный эффект отказа.
  • Метод применён к 15 развёрнутым моделям на данных LMSYS-Chat-1M и WildChat, со статистическим выводом, кластеризованным по пользователям.
  • Примерно для половины моделей, измеренных точно, отказ стоит 3-17 п.п. последующего повторного взаимодействия; у остальных различимого эффекта нет.
  • Одно развёртывание дало положительную точечную оценку; авторы связывают её с настойчивыми пользователями, повторяющими отклонённый запрос.
  • Метод работает по логам примерно за 0,30 доллара за 1000 диалогов; авторы публикуют метки, оценки модерации, эмбеддинги и код.

Почему это важно

По утверждению авторов, цена отказа для пользователя до сих пор не измерена ни на одной производственной модели, хотя нейросети отказывают в заметной доле запросов при сотнях миллионов диалогов в день. Обычный способ измерения, A/B-тест, на продуктах крупных лабораторий ограничен этически и операционно, а сторонним платформам с фиксированным API он недоступен. RAW предлагает обойтись без вмешательства в продукт и извлечь оценку из уже накопленных журналов.

Кому это важно

Командам потребительских платформ, которые разворачивают чужие модели через API и не могут сами менять поведение отказов. Исследователям, которые изучают выравнивание моделей и компромисс между осторожностью и полезностью ответов. Тем, у кого есть журналы диалогов и нужна количественная оценка того, как отказы влияют на возвращение пользователей.

Как это применить

По описанию авторов, метод запускается на любой развёрнутой модели только по логам и обходится примерно в 0,30 доллара за 1000 диалогов. Авторы выложили метки, оценки модерации, эмбеддинги запросов и код конвейера, так что можно повторить анализ на тех же данных LMSYS-Chat-1M и WildChat. Для собственных логов нужны почти одинаковые запросы, на которые модель отвечает по-разному, и кластеризация вывода по пользователям, как в работе.

Можно ли доверять

Это препринт на arXiv; в аннотации приведены только итоговые оценки, а подробности методики придётся проверять по полному тексту. Выводы принадлежат самим авторам. Положительным признаком можно считать публикацию кода, меток и эмбеддингов, а также то, что авторы сами разбирают аномальный случай с положительной оценкой. В аннотации не названы авторы и организации, не сказано, у каких именно из 15 моделей эффект обнаружен, и не объяснено, как операционально определено повторное взаимодействие.

Риски и подводные камни

Эффект измерен не у всех моделей: у примерно половины точно измеренных он есть, у остальных различимого эффекта нет. Диапазон 3-17 п.п. задан в абсолютных процентных пунктах, а исходный уровень повторного взаимодействия в аннотации не указан, поэтому в относительное падение его не перевести. Пример с настойчивыми пользователями показывает, что точечная оценка может отражать поведение людей, повторяющих запрос, а не реальную пользу отказа. Работа измеряет метод и оценки; в аннотации не утверждается, что отказы ошибочны или что моделям следует отказывать реже.

«Наш вклад, метод измерения, который работает на любой развёрнутой модели только по логам примерно за 0,30 доллара за 1000 диалогов.»

— Из аннотации препринта RAW на arXiv