Предложен AltRA-Test: когда нейросеть может заменить разметчиков-людей

Языковые модели всё чаще служат «судьями» и оценщиками вместо людей-разметчиков, и встаёт вопрос: когда такая замена статистически оправдана. Ранее для этого был предложен Alternative Annotator Test (Alt-Test), но он рассчитан на «плотные» сценарии, где все объекты размечают одни и те же люди. В больших проектах разметки обычно иначе: разные объекты размечают разные подмножества людей.
Для таких случаев авторы препринта предлагают Alternative Annotator Test with Resampled Annotations (AltRA-Test), статистический тест, который не требует, чтобы все объекты размечались одними и теми же людьми. Метод основан на бутстрэпе (повторной выборке): тест пересэмплирует объекты, для каждого берёт k человеческих разметок и заменяет одну из них разметкой языковой модели. Получаются парные «панели»: полностью человеческая и смешанная (люди плюс модель). Замену считают обоснованной, если согласованность разметчиков (IAA, inter-annotator agreement) смешанной панели статистически не хуже согласованности полностью человеческой панели. Иными словами, модель сохраняет сигнал, который разделяют люди-разметчики.
Авторы утверждают, что AltRA-Test, состоятельный тест с асимптотическим уровнем значимости alpha. Проверка шла в два этапа. В симуляциях, где заранее известно, лучше или хуже людей модель как разметчик, AltRA-Test принимает больше верных решений о замене, чем существующие базовые методы. В экспериментах на реальных данных протестированы 18 языковых моделей и 5 техник промптинга на 20 датасетах с текстом, изображениями, аудио и видео.
По результатам, для теста часто хватает около 100 объектов. В реальных экспериментах модели проходят тест примерно в половине конфигураций, причём результат зависит главным образом от задачи. Вывод авторов: замена людей моделью оправдана не всегда, поэтому исследователям стоит проверять её на своей задаче.
Ключевые факты
- AltRA-Test, статистический тест замены людей-разметчиков языковой моделью, не требующий, чтобы все объекты размечали одни и те же люди (в отличие от предшествующего Alt-Test).
- Метод: бутстрэп по объектам, для каждого берут k человеческих разметок и подменяют одну разметкой модели; замена поддерживается, если согласованность смешанной панели статистически не хуже полностью человеческой.
- Проверка: симуляции и реальные эксперименты с 18 языковыми моделями и 5 техниками промптинга на 20 датасетах (текст, изображения, аудио, видео).
- Для теста часто достаточно около 100 объектов; в симуляциях он принимает больше верных решений о замене, чем существующие базовые методы.
- На реальных данных модели проходят тест примерно в половине конфигураций, в зависимости главным образом от задачи.
Почему это важно
Языковые модели всё чаще используют как судей и оценщиков вместо людей, но вопрос, когда это статистически оправданно, остаётся открытым. Предыдущий Alt-Test решал его только для случая, когда все объекты размечает одна и та же группа людей. AltRA-Test снимает это ограничение и подходит для крупной разметки, где у каждого объекта свой набор разметчиков. Результат на реальных данных показывает, что замена работает не везде: модели проходят тест примерно в половине конфигураций.
Кому это важно
Исследователям и командам, которые собирают датасеты и оценивают модели с помощью разметки, особенно крупной, где объекты размечают разные люди. Также тем, кто использует языковые модели как судей и хочет обосновать, что такая замена не ухудшает согласованность оценок.
Как это применить
По описанию авторов, для проверки нужна человеческая разметка части объектов: тест сравнивает согласованность полностью человеческой панели и панели, где одну разметку заменили разметкой модели. Авторы отмечают, что часто хватает около 100 объектов, и призывают проверять замену на своей задаче. Значения k и alpha, а также ссылки на код или данные в описании не приведены.
Можно ли доверять
Это препринт: заявленные результаты, утверждения самих авторов. Данные о том, что тест превосходит существующие базовые методы, относятся к симуляциям, где известно истинное качество модели. В описании не названы конкретные модели, техники промптинга и датасеты, не указаны числовые показатели сравнения и сами базовые методы, поэтому масштаб преимущества оценить нельзя. Формулировка «около 100 объектов часто достаточно», не гарантия для любой задачи.
Риски и подводные камни
Замена людей моделью не всегда оправдана: в реальных экспериментах тест пройден лишь примерно в половине конфигураций, и итог зависит главным образом от задачи. Каких именно задач это касается, в описании не уточняется. Прохождение теста означает, что смешанная панель по согласованности не хуже человеческой, то есть модель сохраняет сигнал, общий для людей-разметчиков. Тест нужно запускать заново для каждой своей задачи, а не переносить вывод с чужой.
«Поскольку замена оправдана не всегда, мы призываем исследователей проверять её для своей задачи.»
— авторы препринта об AltRA-Test