Предложен AltRA-Test: когда нейросеть может заменить разметчиков-людей

Предложен AltRA-Test: когда нейросеть может заменить разметчиков-людей

Языковые модели всё чаще служат «судьями» и оценщиками вместо людей-разметчиков, и встаёт вопрос: когда такая замена статистически оправдана. Ранее для этого был предложен Alternative Annotator Test (Alt-Test), но он рассчитан на «плотные» сценарии, где все объекты размечают одни и те же люди. В больших проектах разметки обычно иначе: разные объекты размечают разные подмножества людей.

Для таких случаев авторы препринта предлагают Alternative Annotator Test with Resampled Annotations (AltRA-Test), статистический тест, который не требует, чтобы все объекты размечались одними и теми же людьми. Метод основан на бутстрэпе (повторной выборке): тест пересэмплирует объекты, для каждого берёт k человеческих разметок и заменяет одну из них разметкой языковой модели. Получаются парные «панели»: полностью человеческая и смешанная (люди плюс модель). Замену считают обоснованной, если согласованность разметчиков (IAA, inter-annotator agreement) смешанной панели статистически не хуже согласованности полностью человеческой панели. Иными словами, модель сохраняет сигнал, который разделяют люди-разметчики.

Авторы утверждают, что AltRA-Test, состоятельный тест с асимптотическим уровнем значимости alpha. Проверка шла в два этапа. В симуляциях, где заранее известно, лучше или хуже людей модель как разметчик, AltRA-Test принимает больше верных решений о замене, чем существующие базовые методы. В экспериментах на реальных данных протестированы 18 языковых моделей и 5 техник промптинга на 20 датасетах с текстом, изображениями, аудио и видео.

По результатам, для теста часто хватает около 100 объектов. В реальных экспериментах модели проходят тест примерно в половине конфигураций, причём результат зависит главным образом от задачи. Вывод авторов: замена людей моделью оправдана не всегда, поэтому исследователям стоит проверять её на своей задаче.

Ключевые факты

  • AltRA-Test, статистический тест замены людей-разметчиков языковой моделью, не требующий, чтобы все объекты размечали одни и те же люди (в отличие от предшествующего Alt-Test).
  • Метод: бутстрэп по объектам, для каждого берут k человеческих разметок и подменяют одну разметкой модели; замена поддерживается, если согласованность смешанной панели статистически не хуже полностью человеческой.
  • Проверка: симуляции и реальные эксперименты с 18 языковыми моделями и 5 техниками промптинга на 20 датасетах (текст, изображения, аудио, видео).
  • Для теста часто достаточно около 100 объектов; в симуляциях он принимает больше верных решений о замене, чем существующие базовые методы.
  • На реальных данных модели проходят тест примерно в половине конфигураций, в зависимости главным образом от задачи.

Почему это важно

Языковые модели всё чаще используют как судей и оценщиков вместо людей, но вопрос, когда это статистически оправданно, остаётся открытым. Предыдущий Alt-Test решал его только для случая, когда все объекты размечает одна и та же группа людей. AltRA-Test снимает это ограничение и подходит для крупной разметки, где у каждого объекта свой набор разметчиков. Результат на реальных данных показывает, что замена работает не везде: модели проходят тест примерно в половине конфигураций.

Кому это важно

Исследователям и командам, которые собирают датасеты и оценивают модели с помощью разметки, особенно крупной, где объекты размечают разные люди. Также тем, кто использует языковые модели как судей и хочет обосновать, что такая замена не ухудшает согласованность оценок.

Как это применить

По описанию авторов, для проверки нужна человеческая разметка части объектов: тест сравнивает согласованность полностью человеческой панели и панели, где одну разметку заменили разметкой модели. Авторы отмечают, что часто хватает около 100 объектов, и призывают проверять замену на своей задаче. Значения k и alpha, а также ссылки на код или данные в описании не приведены.

Можно ли доверять

Это препринт: заявленные результаты, утверждения самих авторов. Данные о том, что тест превосходит существующие базовые методы, относятся к симуляциям, где известно истинное качество модели. В описании не названы конкретные модели, техники промптинга и датасеты, не указаны числовые показатели сравнения и сами базовые методы, поэтому масштаб преимущества оценить нельзя. Формулировка «около 100 объектов часто достаточно», не гарантия для любой задачи.

Риски и подводные камни

Замена людей моделью не всегда оправдана: в реальных экспериментах тест пройден лишь примерно в половине конфигураций, и итог зависит главным образом от задачи. Каких именно задач это касается, в описании не уточняется. Прохождение теста означает, что смешанная панель по согласованности не хуже человеческой, то есть модель сохраняет сигнал, общий для людей-разметчиков. Тест нужно запускать заново для каждой своей задачи, а не переносить вывод с чужой.

«Поскольку замена оправдана не всегда, мы призываем исследователей проверять её для своей задачи.»

— авторы препринта об AltRA-Test