Общая точность автооценщика ответов нейросетей может вводить в заблуждение
Во многих исследованиях языковых моделей сравнивают, как они отвечают на разные уточняющие реплики. Одна нейтрально просит модель подумать ещё раз, другая настаивает, что выдуманный фильм на самом деле существует. Разница между ответами служит мерой влияния давления в диалоге. Автоматический оценщик (scorer) размечает, содержит ли каждый ответ неподтверждённое фактическое утверждение. Обычно оценщика проверяют одной общей метрикой, точностью или F1.
Авторы препринта возражают: высокая общая оценка может скрывать ошибки, зависящие от промпта. Если оценщик чаще ошибается после одной из реплик, измеренная разница может оказаться слишком большой, слишком малой или вовсе указывать в обратную сторону. Кроме того, проверка, где в основном трудные ответы, может исказить картину качества оценщика на всём исследовании. Авторы выводят, как такие ошибки меняют сравнение промптов, и проверяют это на шести моделях, 180 вопросах про выдуманные сущности и шести вариантах промпта.
В первом, сбалансированном аудите из 288 ответов общий F1 оценщика составил .916. Но в зависимости от промпта оценщик помечал от 2,6% до 33,3% ответов, которые основная языковая модель-оценщик сочла не содержащими неподтверждённого утверждения; при этом оценки по отдельным промптам были неопределёнными.
Во втором аудите оценщик и две отдельные языковые модели-оценщики проверили одни и те же 300 пар «модель, вопрос» при каждом промпте. Кажущийся рост на 9,3 пункта от утверждения уверенности (вместо нейтральной просьбы пересмотреть ответ) при оценке обеими моделями-оценщиками упал до 2,3 пункта. Интервал для основного оценщика включал ноль, то есть рост не был установлен. Два других сравнения промптов сохранили направление при обоих оценщиках, а попытка внести поправку по конкретному промпту осталась слишком неопределённой для твёрдого вывода.
Итоговая рекомендация: проверять нужно ту самую разницу, о которой исследователь собирается сообщить, а не только оценщика в целом, аудировать оба промпта на одинаковых примерах и учитывать неопределённость оценщика и оценщиков-моделей в окончательном результате.
Ключевые факты
- Оценщика ответов обычно проверяют одним общим показателем (точность или F1), но он может скрывать ошибки, зависящие от промпта.
- Эксперименты: шесть моделей, 180 вопросов про выдуманные сущности, шесть вариантов промпта.
- В аудите из 288 ответов общий F1 был .916, однако доля ответов, помеченных оценщиком вопреки мнению основного оценщика-модели, составляла от 2,6% до 33,3% в зависимости от промпта.
- Кажущийся рост на 9,3 пункта от утверждения уверенности упал до 2,3 пункта при оценке двумя другими моделями-оценщиками; интервал основного оценщика включал ноль.
- Рекомендация авторов: аудировать оба сравниваемых промпта на одинаковых примерах и включать неопределённость оценщика в итог.
Почему это важно
Сравнения вроде «как сильно давление в диалоге заставляет модель выдумывать» опираются на автоматический оценщик. Работа показывает, что вывод о размере эффекта может зависеть не от модели, а от того, как оценщик ошибается на конкретном промпте. В примере из статьи кажущийся рост на 9,3 пункта при проверке двумя другими оценщиками сократился до 2,3 пункта.
Кому это важно
Исследователям, которые оценивают ответы языковых моделей с помощью другой модели или скрипта, особенно при сравнении разных формулировок промптов. Также читателям таких работ: общая метрика качества оценщика сама по себе не гарантирует, что конкретная разница между промптами измерена верно.
Как это применить
Авторы советуют проверять именно ту разницу, о которой планируется сообщить: аудировать оба промпта на соответствующих (одинаковых) примерах и включать в итоговый результат неопределённость оценщика и оценщиков-моделей. Также стоит следить, чтобы аудит не состоял преимущественно из трудных ответов.
Можно ли доверять
Это препринт на arXiv, судя по тексту аннотации. В ней не названы шесть моделей, шесть промптов и сам оценщик, поэтому полностью оценить эксперимент по аннотации нельзя. Сами авторы оговаривают, что оценки по отдельным промптам были неопределёнными и что попытка поправки осталась слишком неопределённой для твёрдого вывода.
Риски и подводные камни
Из 2,3 пункта нельзя делать вывод о росте: интервал основного оценщика включал ноль. Диапазон 2,6%, 33,3% тоже нельзя читать как точные цифры, это неопределённые оценки. Из шести промптов количественно описано только сравнение «уверенное утверждение против нейтральной просьбы»; два других сравнения лишь сохранили направление эффекта.
«Поэтому исследователям следует проверять именно ту разницу, о которой они собираются сообщить, а не только оценщика в целом: аудировать оба промпта на одинаковых примерах и включать в итоговый результат неопределённость оценщика и оценщиков-моделей.»
— из аннотации препринта на arXiv