Исследование: формат сообщений между ИИ-агентами решает исход только для слабых моделей

Исследователи проверили, насколько важен формат сообщений, которыми обмениваются ИИ-агенты при последовательной передаче информации друг другу (multi-hop relay), то есть когда факт проходит через цепочку из нескольких агентов, и каждый пересказывает его следующему. До этой работы в науке было два лагеря: одни статьи утверждали, что структурированные форматы вроде JSON снижают затраты токенов без потери точности, другие, что жёсткая структура, наоборот, ухудшает качество генерации. Но ни одна работа не проверяла именно многошаговую передачу, где важна не генерация текста с нуля, а точность копирования факта через несколько «рук».

Авторы построили контролируемый тестовый стенд: бриф из 12 программно сгенерированных атомарных фактов на каждом шаге («хопе») переписывается агентом в одном из пяти форматов, свободный естественный язык, естественный язык с инструкцией на точность, JSON, тройки (субъект-предикат-объект) и пары ключ-значение, и так шесть хопов подряд. Итоговый результат сверяется со строгим «судьёй» (отдельной сильной моделью-оценщиком) против эталонных данных. Эксперимент прогонялся для двух уровней возможностей модели-ретранслятора (сильная и слабая, на 1,5 млрд параметров), с добавленной когнитивной нагрузкой на каждом хопе и с намеренной инъекцией одной неверной ошибки на развилке цепочки (paired-fork).

Три главных вывода. Во-первых, если агент-ретранслятор сильный и получил инструкцию точно пересказывать факты, потеря информации через шесть хопов практически нулевая, классического «эффекта испорченного телефона» не происходит. Добавление когнитивной нагрузки на каждом шаге почти не меняет точность (в пределах ±1,8 балла), но увеличивает стоимость генерации на 24, 53%. Во-вторых, если агент-ретранслятор слабый (модель на 1,5 млрд параметров), разброс точности между форматами после шести хопов вырастает в 8,7 раза, с 2,3 до 20,5 балла. За это отвечают два противоположных механизма: «налог на кодирование», который платят жёсткие форматы при каждом перекодировании, и устойчивость к дрейфу, характерная именно для JSON с фиксированной схемой ключей, из-за них рейтинг форматов по надёжности переворачивается прямо в процессе передачи. В-третьих, в тесте с намеренной инъекцией неверного значения ошибочные данные, однажды попав в цепочку, доживают до последнего хопа в 83, 100% случаев, причём во всех форматах примерно с той же вероятностью, с какой сохраняется и верное значение. Заметного побочного «заражения» соседних фактов при этом не происходит.

Вывод авторов: структурированный формат сообщений даёт честный, локализующий ошибки канал передачи данных, но не исправляющий их код. Если ошибка уже попала в сообщение, ни один формат сам её не устранит. Поэтому выбирать формат обмена сообщениями между агентами нужно с оглядкой на самое слабое звено в конвейере, а не на самое сильное.

Ключевые факты

Тестировали 5 форматов сообщений между ИИ-агентами (свободный текст, точный текст, JSON, тройки, ключ-значение) на цепочке из 6 последовательных передач («хопов»).
Сильный агент-ретранслятор почти не теряет факты независимо от формата: потеря точности не превышает ±1,8 балла даже под когнитивной нагрузкой, хотя нагрузка удорожает генерацию на 24, 53%.
Слабый агент (1,5 млрд параметров) разбрасывается по форматам в 8,7 раза сильнее, разброс точности растёт с 2,3 до 20,5 балла; жёсткие форматы платят «налог на кодирование», а JSON с фиксированной схемой выигрывает за счёт устойчивости к дрейфу.
Намеренно внедрённая ошибка сохраняется до конца цепочки в 83, 100% случаев независимо от формата, структура не исправляет ошибки, а только локализует их.
Вывод авторов: формат сообщений в мультиагентных системах нужно выбирать по самому слабому агенту в цепочке, а не по среднему или сильнейшему.

Почему это важно

В мультиагентных ИИ-системах агенты постоянно передают друг другу информацию, результат работы одного становится входом для другого, и так по цепочке. До этой работы не было ясно, насколько формат таких сообщений (обычный текст против JSON и других структур) влияет на то, доживёт ли факт до конца цепочки в неискажённом виде. Исследование показывает: ответ зависит от того, насколько силён агент-ретранслятор. Для сильных моделей формат почти не важен, потеря точности минимальна в любом случае. Для слабых моделей формат критичен и может отличать небольшую потерю точности от разброса, в разы превышающего её.

Кому это важно

Разработчикам мультиагентных ИИ-пайплайнов, особенно тем, кто использует смешанный набор моделей, например, маленькие и дешёвые модели (вроде модели на 1,5 млрд параметров) для промежуточных, «рабочих» агентов ради экономии, а мощные модели, только на ключевых узлах. Также это важно тем, кто проектирует протоколы обмена сообщениями между агентами (структурированный вывод, JSON-схемы, вызов функций) и оценивает надёжность длинных агентных цепочек.

Как это применить

Если в конвейере используется хотя бы один слабый агент-ретранслятор, формат сообщений между агентами стоит выбирать по нему, а не по самому мощному звену цепочки, то есть тестировать формат именно на самой слабой модели пайплайна. Авторы также советуют явно инструктировать агентов на точную, а не творческую передачу фактов при пересказе, это резко снижает потери даже при добавленной когнитивной нагрузке. Такая инструкция обходится дороже по стоимости генерации (+24, 53%), но не за счёт качества.

Можно ли доверять

Это контролируемый лабораторный эксперимент с искусственно созданными фактами и автоматическим «судьёй»-оценщиком, а не наблюдение за реальными продакшн-системами, авторы сознательно упростили условия, чтобы изолировать именно эффект формата. Методология описана подробно (12 атомарных фактов, 6 хопов, 5 форматов, две модели-ретранслятора разного уровня), что позволяет её воспроизвести, но перенос выводов на реальные многоагентные системы с более сложными задачами требует дополнительной проверки.

Риски и подводные камни

Главный риск, ложное чувство защищённости от структурированных форматов. Само исследование подчёркивает: структура (JSON и другие жёсткие форматы) не исправляет ошибки, а только локализует их, если неверное значение попало в сообщение, оно с высокой вероятностью (83, 100%) доедет до конца цепочки в любом формате. Разработчикам не стоит полагаться на JSON как на «защиту от дурака» при передаче данных между агентами, нужны отдельные механизмы проверки фактов, а не просто выбор формата сообщений.

«Структура даёт честный, локализующий ошибки канал передачи данных, но не код, исправляющий ошибки; выбор формата должен ориентироваться на самое слабое звено конвейера.»

— из статьи, arXiv:2607.09678