Мультиагентная система превращает галлюцинации ИИ в гипотезы, но не показала общего превосходства над простой самопроверкой

Современные языковые модели (LLM) всё активнее настраивают на подавление галлюцинаций, случаев, когда модель выдаёт неточную или вымышленную информацию как достоверный факт. Авторы статьи отмечают, что такая настройка помогает бороться с дезинформацией, но одновременно смещает модель в сторону точного воспроизведения фактов в ущерб «комбинаторному творчеству», способности свободно комбинировать идеи. По их оценке, это может сдерживать поисковые, спекулятивные направления в исследованиях и разработках (R&D), поощряя то, что авторы называют «семантическим переобучением» (semantic overfitting) и «коллапсом разнообразия» (diversity collapse), сужением диапазона идей, которые вообще способна выдать модель.

Чтобы обратить эту особенность в пользу дела, авторы предлагают мультиагентную систему оркестрации, написанную на языке Rust. В основе устройства системы, контраст между «нарративным мечтанием» (свободной генерацией образов и сюжетов) и «исполнительным контролем» (проверкой и отбором); авторы прямо оговаривают, что это лишь функциональная аналогия, а не утверждение о том, как в действительности работает мозг. Система запускает цикл, названный «эпистемологическим трением» (Epistemological Friction): высокоэнтропийный агент-генератор свободно порождает гипотезы, агент-оценщик проверяет их, опираясь на веб-поиск, а между ними стоит низкоэнтропийный смысловой фильтр («семантическое узкое место»), который должен отсеивать шум и повторы.

В первых экспериментах система выдала разнообразные гипотезы с оценкой жизнеспособности в физических науках и в социальных науках. Дальше авторы провели более строгую проверку, парное сравнение с базовыми вариантами и абляционное исследование (пошаговое удаление отдельных частей системы, чтобы понять вклад каждой): полную систему сравнили с прямым промптингом (без всякой оркестрации), с приёмом самопроверки модели (self-reflection), а также с тремя версиями самой системы, без семантического фильтра, без опоры на веб-поиск и без «боковых линз» (что именно убирает этот последний компонент, в тексте не поясняется).

Прямой промптинг оказался одним из самых слабых вариантов по большинству наблюдаемых метрик. Но полная система не показала общего превосходства над простой самопроверкой: результаты говорят, что каждая из архитектур по-своему смещает баланс между оригинальностью, реализуемостью, разнообразием и опорой на эмпирические данные, единого «лучшего» варианта нет. Главное преимущество полной системы проявляется именно тогда, когда гипотеза должна выдержать жёсткие физические, эмпирические или институциональные ограничения, то есть не универсально, а в конкретном классе задач.

Авторы прямо предостерегают от чрезмерного прочтения собственного результата: то, что получилось, не показывает, что галлюцинация полезна сама по себе, в отрыве от системы. Спекулятивная генерация идей приобретает ценность только тогда, когда она ограничена архитектурой, проверкой на эмпирических данных и явной оценкой результата, иначе это просто набор случайных вымыслов.

Ключевые факты

Мультиагентная архитектура на Rust не подавляет склонность языковых моделей к галлюцинациям, а превращает её в источник проверяемых научных гипотез.
Система строит цикл «эпистемологического трения» (Epistemological Friction): высокоэнтропийный агент-генератор придумывает гипотезы, агент-оценщик проверяет их через веб-поиск, а между ними стоит низкоэнтропийный смысловой фильтр, отсеивающий шум и повторы.
Контраст между «нарративным мечтанием» и «исполнительным контролем», только функциональная аналогия для устройства системы; авторы прямо оговаривают, что это не утверждение о работе мозга.
Абляционное исследование сравнило полную систему с прямым промптингом, приёмом самопроверки модели (self-reflection) и тремя версиями системы без одного из компонентов (без семантического фильтра, без веб-поиска, без «боковых линз»); прямой промптинг оказался одним из самых слабых вариантов по большинству наблюдаемых метрик.
Полная система не показала общего превосходства над простой самопроверкой, её главное преимущество проявляется, когда гипотеза должна выдержать жёсткие физические, эмпирические или институциональные ограничения.

Почему это важно

ИИ-модели специально настраивают против галлюцинаций, потому что выдуманные факты вредны там, где нужна точность. Но у этой настройки есть обратная сторона: модель, приученная не фантазировать, хуже комбинирует далёкие друг от друга идеи, а именно такая способность нужна на раннем, поисковом этапе исследований, когда важно нагенерировать много непроверенных, но потенциально ценных гипотез. Статья предлагает не глушить эту особенность моделей, а поставить её под контроль: направить в структуру, где каждая гипотеза сразу проверяется на прочность веб-поиском и отдельным агентом-оценщиком, вместо того чтобы просто подавлять фантазию на входе.

Кому это важно

Тем, кто строит ИИ-инструменты для раннего, поискового этапа науки и R&D, генерации гипотез, брейнштормов, поиска нестандартных направлений исследования. Разработчикам мультиагентных систем, абляционное исследование в статье показывает, из каких конфигураций состоит сравнение (прямой промптинг, самопроверка, версии системы без семантического фильтра, без веб-поиска, без «боковых линз»), и что прямой промптинг оказался самым слабым вариантом, а полная система не показала общего превосходства над самопроверкой. И тем, кто сам оценивает подобные ИИ-системы, методика парного сравнения с самопроверкой и прямым промптингом даёт образец честного сравнения архитектур, а не просто похвалы новой системе.

Как это применить

Логику системы можно взять как шаблон: генерирующий агент работает на высокой «температуре», свободно и без жёсткой фильтрации, результат проходит через смысловой фильтр, отсеивающий шум и повторы, а затем, через агента-оценщика, который проверяет каждую гипотезу веб-поиском. Но статья же и предупреждает: прежде чем городить такую многоагентную конструкцию, стоит сравнить её с гораздо более дешёвым вариантом, попросить модель саму перепроверить и раскритиковать собственный ответ (self-reflection). Судя по результатам, ощутимая разница в пользу полной системы проявляется не всегда, а именно там, где к гипотезе предъявляются жёсткие физические, эмпирические или институциональные требования; для более мягких, чисто творческих задач простая самопроверка может сработать не хуже.

Можно ли доверять

Это препринт на arXiv, и сам текст называет исследование предварительным (exploratory): паспорт эксперимента приведён не полностью, в доступном фрагменте не названы ни авторы, ни их организация, ни конкретная модель или поставщик ИИ, лежащие в основе системы, ни точные числовые показатели (оценки жизнеспособности, число сгенерированных гипотез, размеры выборок), ни дата подачи или публикации. Зато сам дизайн проверки, парное сравнение полной системы с двумя базовыми вариантами (прямым промптингом и самопроверкой) и тремя версиями самой системы с удалённым одним из компонентов (без семантического фильтра, без опоры на веб-поиск, без «боковых линз»), методологически честный: он не подгоняет вывод под эффектность идеи и прямо показывает, что новая архитектура не демонстрирует общего превосходства над более простыми приёмами вроде самопроверки.

Риски и подводные камни

Главный риск, прочитать заголовок статьи («галлюцинация как особенность, а не изъян») шире, чем позволяют её же собственные результаты: авторы прямо пишут, что находки не показывают пользу галлюцинации саму по себе, вне архитектуры и проверки. Ещё один пробел, абляция «боковых линз»: в тексте она названа как один из проверяемых вариантов системы, но что именно этот компонент убирает и чем это отличается от отключения семантического фильтра, не поясняется. Наконец, из-за отсутствия точных цифр в открытом фрагменте нельзя самостоятельно оценить, насколько велика разница между полной системой и самопроверкой, статья говорит о ней в целом, но не в числах.