Большинство ошибок быстрых ИИ-агентов, не в чтении ситуации, а в выборе действия
Быстрые модели («System One») выбирают следующее действие агента, оценивая за один проход заранее заданный набор вариантов. Это делает их быстрыми и дешёвыми, но когда они ошибаются, разбирать нечего: неясно, неверно ли модель прочитала то, что видел агент, или прочитала правильно, но всё равно выбрала не то действие.
Авторы работы отвечают на этот вопрос поведенчески. Они взяли зафиксированный (замороженный) набор состояний принятия решений агента: из симулированных сред, правил обслуживания клиентов, использования инструментов, навигации по сайтам и программирования. К каждому вопросу «какое действие следующее» добавлены фактические проверочные вопросы о том же состоянии, на которые модель отвечает независимо.
На семнадцати быстрых системах и одной модели с рассуждением результат одинаков: большинство неверных действий следует за правильным прочтением состояния, а чем точнее система, тем большая доля её ошибок принимает такую форму. Это не случайный шум: ошибки собираются на одних и тех же состояниях у систем самых разных типов.
Там, где проверяемые факты однозначно определяют действие, модели, верно прочитавшие каждый факт, всё равно не умеют их объединить, а их собственные ответы, скомбинированные кодом, исправляют ошибку. На реальных состояниях же часто не хватает не факта, а следующей подцели.
Ключевые факты
- Быстрые модели («System One») выбирают действие агента за один проход по заданному набору вариантов, поэтому дёшевы, но их ошибки трудно диагностировать.
- Проверка: зафиксированный набор состояний из симулированных сред, правил обслуживания клиентов, использования инструментов, навигации по сайтам и программирования; к каждому вопросу о действии добавлены независимые фактические проверочные вопросы.
- Результат на семнадцати быстрых системах и одной модели с рассуждением: большинство неверных действий следует за правильным прочтением, и чем точнее система, тем больше ошибок такого рода.
- Ошибки не случайны: они группируются на одних и тех же состояниях у систем разных типов.
- Где факты однозначно определяют действие, объединение ответов модели кодом исправляет ошибку; на реальных состояниях часто не хватает следующей подцели.
Почему это важно
Быстрые модели, выбирающие действие за один проход, привлекательны скоростью и стоимостью, но их ошибки выглядят как «чёрный ящик». Работа показывает, что в большинстве случаев проблема не в том, что модель не поняла ситуацию: факты она прочла верно, а действие выбрала неверно. Это смещает внимание с улучшения чтения состояния на то, как из прочитанных фактов получается решение.
Кому это важно
Тем, кто строит и оценивает ИИ-агентов, особенно с быстрыми дешёвыми моделями в роли выбора следующего шага: в сценариях обслуживания клиентов, работы с инструментами, навигации по сайтам и программирования. А также исследователям, которые диагностируют отказы агентов.
Как это применить
Из аннотации следует осторожный вывод: если ошибки быстрой модели диагностируют, полезно отдельно проверять, верно ли она прочитала факты о состоянии, и отдельно, верно ли выбрала действие. Там, где факты однозначно задают действие, в работе объединение ответов самой модели кодом исправляло ошибку. Готовых рецептов, кода или набора данных в тексте аннотации не приведено.
Можно ли доверять
Доступна только аннотация. В ней нет авторов и организаций, не названы конкретные системы (ни семнадцать быстрых, ни модель с рассуждением), не указаны название бенчмарка, число состояний и проверочных вопросов, а также числовые доли ошибок: сказано лишь «большинство». Проверить масштаб эффекта по аннотации нельзя; вывод логичен и подкреплён сравнением 17 систем, но цифр для независимой оценки нет.
Риски и подводные камни
Без числовых долей и названий систем неясно, насколько сильно эффект выражен в каждой среде и у каждого типа моделей. Вывод относится к проверенным состояниям зафиксированного набора и к быстрым моделям, выбирающим из заданных вариантов; переносить его на другие архитектуры агентов нельзя. Кроме того, на реальных состояниях недостающим часто оказывается не факт, а следующая подцель, поэтому простое объединение прочитанных фактов кодом решает не все случаи.
«Большинство неверных действий следует за правильным прочтением, и чем точнее система, тем большая доля её ошибок принимает такую форму.»
— из аннотации работы