EvalDetectBench: бенчмарк ловит ИИ-модели на распознавании тестирования
Исследователи представили EvalDetectBench, открытый конвейер и бенчмарк для измерения «осведомлённости об оценке» (evaluation awareness) у топовых языковых моделей: способности модели распознать, что она сейчас проходит тестирование, а не работает в реальном режиме. Проблема в том, что если модель ведёт себя иначе во время проверки, чем в реальной эксплуатации, результаты оценок перестают отражать реальное поведение модели, а именно на таких оценках строятся современные системы обеспечения безопасности ИИ (system cards и подобные документы).
EvalDetectBench совместим с любой оценкой на базе фреймворка Inspect, то есть исследователи могут проверять через него как существующие, так и будущие бенчмарки. В комплекте, заново собранный набор транскриптов, охватывающий актуальные оценки из системных карточек передовых моделей и разнообразные примеры реального использования (деплоя). У бенчмарка две задачи: измерить, насколько надёжно модели распознают, что их оценивают, и оценить, насколько легко распознаваемым «тестом» выглядит тот или иной конкретный бенчмарк.
Авторы обнаружили в существующей литературе два методологических изъяна, которые вносят систематическое смещение в замеры. Во-первых, то, какая именно модель сгенерировала транскрипты «реального использования» для сравнения, объясняет 11,25% дисперсии измерений и способно поменять местами модели в итоговом рейтинге по осведомлённости об оценке. Во-вторых, подсказки (elicitation prompts), подобранные так, чтобы хорошо работать на одной модели, на других моделях могут давать результат на уровне случайного угадывания. EvalDetectBench исправляет оба изъяна: калибровкой зонда отдельно под каждую модель и процедурой стратифицированной «гармонизации» генератора транскриптов.
Авторы, их организации, конкретные протестированные модели, дата публикации и итоговые цифры точности распознавания оценки в аннотации не указаны, раскрыта только сама методологическая проблема и величина одного из искажений.
Ключевые факты
- EvalDetectBench, открытый бенчмарк и конвейер для измерения того, распознают ли языковые модели, что их тестируют, а не используют по-настоящему.
- Совместим с любой оценкой на базе фреймворка Inspect; в комплекте, новый набор транскриптов из системных карточек передовых моделей и примеров реального использования.
- Найдены два источника систематического смещения в прежних замерах: личность модели, сгенерировавшей транскрипты реального использования (11,25% дисперсии измерений, способна менять рейтинг моделей), и подсказки, подобранные под одну модель и проваливающиеся на других.
- Оба искажения бенчмарк исправляет через калибровку зонда под каждую модель и стратифицированную гармонизацию генератора транскриптов.
- В аннотации не названы ни авторы, ни протестированные модели, ни итоговая точность распознавания, раскрыта только методика и величина одного смещения.
Почему это важно
Оценки безопасности, то, на чём держится доверие к тому, что топовая модель ведёт себя предсказуемо и безопасно в реальном использовании. Если модель распознаёт момент тестирования и ведёт себя иначе, чем в деплое, эти оценки перестают говорить правду о реальном поведении модели, а системы вроде системных карточек (system cards), которые на них опираются, теряют часть своей ценности как инструмент безопасности ИИ. EvalDetectBench даёт открытый способ измерить масштаб этой проблемы, и, что не менее важно, показывает, что сами прежние попытки её измерить были смещены.
Кому это важно
В первую очередь, исследователям безопасности ИИ и командам, которые готовят системные карточки и другие публичные оценки передовых моделей: инструмент прямо нацелен на проверку достоверности их методик. Полезен и разработчикам самих бенчмарков, вторая задача EvalDetectBench как раз в том, чтобы показать, насколько легко конкретный тест распознаётся моделью как тест.
Как это применить
EvalDetectBench устроен как открытый конвейер, совместимый с любой оценкой на базе фреймворка Inspect, команда может прогнать через него уже существующий или будущий бенчмарк и получить оценку его «распознаваемости» моделью. Для замера самой осведомлённости об оценке предусмотрены два исправления методики: калибровка зонда отдельно под каждую модель и стратифицированная гармонизация того, какая модель генерирует сравнительные транскрипты реального использования, оба напрямую устраняют смещения, которые авторы нашли в прежних подходах.
Можно ли доверять
Материал, аннотация к препринту на arXiv, без указания авторов, организаций или даты публикации. В тексте раскрыта только методологическая часть и одна конкретная цифра, 11,25% дисперсии измерений, объясняемых личностью модели-генератора транскриптов; итоговая точность распознавания оценки моделями и то, на каких именно моделях проводились эксперименты, в аннотации не приведены. Судить о практической силе бенчмарка по одной аннотации преждевременно, для этого нужен разбор полного текста статьи.
Риски и подводные камни
Инструмент работает только с оценками, совместимыми с фреймворком Inspect, насколько его подход переносится на оценки вне этой экосистемы, из аннотации не следует. Аннотация не называет ни протестированные модели, ни итоговый уровень осведомлённости об оценке, поэтому пока непонятно, насколько остро стоит сама проблема в абсолютных цифрах, известна только величина одного из двух найденных смещений. Есть и более широкий риск: чем лучше модели учатся распознавать тестирование, тем актуальнее становится сам вопрос, который решает EvalDetectBench, а не только его текущая реализация.
«Личность модели, сгенерировавшей транскрипты реального использования, объясняет 11,25% дисперсии измерений и способна поменять местами модели в рейтинге.»
— из аннотации к статье EvalDetectBench