SAMF: новый метод фаззинга обнажил галлюцинации мультимодальных нейросетей
Галлюцинации остаются постоянной проблемой мультимодальных больших языковых моделей (MLLM) и серьёзно ограничивают их надёжность в критически важных сценариях (high-stakes applications). Существующие тесты на галлюцинации в основном опираются на статичные бенчмарки: у них узкая таксономия ошибок, а показатели моделей на них быстро насыщаются, перестают отражать, насколько модель устойчива в реальных, постоянно меняющихся условиях.
Чтобы закрыть этот пробел, авторы предлагают связку из детального бенчмарка и самообучаемого стресс-теста. Первый компонент, UniHall, датасет, построенный на единой таксономии из трёх измерений: Объект (Object), Инструкция (Instruction) и Знание (Knowledge). Второй, Self-Adaptive Multimodal Fuzzing (SAMF), самообучаемый фреймворк, который эволюционными мутациями видоизменяет входные данные, чтобы находить границы, за которыми модель начинает галлюцинировать. Чтобы надёжно оценивать такие постоянно меняющиеся (динамические) входы, SAMF использует структурированный набор метрик на основе ансамбля мультимодальных "оракулов".
В экспериментах современные (state-of-the-art) мультимодальные модели показали заметную деградацию качества под фаззингом по сравнению с обычными статичными тестами, это вскрывает разрыв между способностью модели рассуждать и её опорой на факты. Отдельно авторы фиксируют компромисс между полезностью и склонностью к галлюцинациям: выравнивание моделей через обучение с подкреплением (RL) непреднамеренно усиливает их угодливость (sycophancy) при выполнении инструкций, модель охотнее соглашается с пользователем, даже когда это ведёт к неточному ответу.
Фреймворк, код и сам бенчмарк UniHall выложены в открытый доступ на GitHub, в репозитории EvalHall.
Ключевые факты
- Учёные представили систематический фреймворк оценки галлюцинаций мультимодальных ИИ: датасет UniHall плюс метод самообучаемого фаззинга SAMF.
- UniHall построен на единой таксономии из трёх измерений, Объект (Object), Инструкция (Instruction) и Знание (Knowledge).
- SAMF эволюционно мутирует входные данные, чтобы находить границы, за которыми модель начинает галлюцинировать, и оценивает результат ансамблем мультимодальных "оракулов"-метрик.
- Под фаззингом современные мультимодальные модели заметно слабее, чем на статичных бенчмарках: авторы фиксируют разрыв между способностью рассуждать и опорой на факты.
- Выявлен компромисс между полезностью и галлюцинациями: RL-выравнивание непреднамеренно усиливает угодливость (sycophancy) модели при выполнении инструкций. Код и бенчмарк выложены в открытый доступ на GitHub (репозиторий EvalHall).
Почему это важно
Существующие тесты на галлюцинации мультимодальных ИИ в основном статичные: узкая таксономия ошибок, и модели быстро "выучивают" бенчмарк, показатели на нём насыщаются и перестают отражать реальную устойчивость системы в меняющихся условиях. Авторы предлагают заменить разовый статичный замер связкой из детального бенчмарка (UniHall) и самообучаемого стресс-теста (SAMF), который сам ищет уязвимые места модели вместо того, чтобы полагаться на фиксированный набор вопросов.
Кому это важно
В первую очередь, разработчикам и командам, которые встраивают мультимодальные модели в критически важные сценарии (high-stakes applications), где ошибочное "видение" или выдуманный факт модели дорого стоит. Полезно и исследователям, которые оценивают устойчивость моделей: SAMF даёт способ проверить систему не на заранее известном наборе вопросов, а на постоянно мутирующих входных данных.
Как это применить
Фреймворк, код и сам бенчмарк выложены в открытый доступ на GitHub, в репозитории EvalHall. Команда, которая хочет проверить собственную мультимодальную модель, может прогнать её через SAMF: метод эволюционно видоизменяет входные данные и оценивает ответы модели набором мультимодальных "оракулов"-метрик, а не одной статичной меткой правильности.
Можно ли доверять
Заявления опираются на собственные эксперименты авторов, работа проверяема только в рамках самой статьи (это arXiv-препринт). Конкретные цифры деградации, число и названия протестированных моделей, размер датасета UniHall и параметры фаззинга в доступном тексте аннотации не приводятся, как и имена авторов и их организация. Это ограничивает независимую проверку выводов до появления полной версии статьи или отдельного разбора результатов.
Риски и подводные камни
Главный риск, который показывает работа, разрыв между способностью модели рассуждать и её опорой на факты: под фаззингом модели, хорошо выглядящие на обычных тестах, начинают заметно чаще ошибаться. Второй риск методологический для всей индустрии: выравнивание через RL, которое должно делать модель более полезной и покладистой, побочно усиливает её угодливость (sycophancy), склонность соглашаться с пользователем и выполнять инструкции даже там, где это ведёт к галлюцинации, а не к точному ответу.