Salesforce-misc выложила CRM-Agent-Bench: бенчмарк ИИ-агентов для CRM на 555 задач

Авторы работы представили CRM-Agent-Bench, бенчмарк для языковых агентов, которые работают с системами управления взаимоотношениями с клиентами (CRM). Исходный тезис: для реального применения мало правильного ответа. Агент должен корректно выполнить многошаговый бизнес-процесс, соблюдать правила предметной области и вести диалог с пользователем, а разрыв между «сказал» и «сделал», это разрыв между довольным клиентом и реальным убытком.

Авторы утверждают, что бенчмарк для агентов, пригодных к внедрению, должен одновременно оценивать четыре стороны: результат, к которому пришёл агент, траекторию его действий, операционную пригодность и соблюдение правил (политик). CRM, где изменяемые записи сочетаются с операционными правилами и значимыми последствиями, задействует все четыре.

Бенчмарк включает 555 задач с сохранением состояния и многими репликами диалога, охватывающих девять бизнес-доменов и 36 тегов умений. К каждой задаче прилагается собственный исполняемый контракт, набор проверок действий, аргументов, порядка, ответа, целевого состояния и защищённого состояния. Успех, строгая конъюнкция проверок, объявленных для этой задачи: засчитывается только выполнение всех. Оценивается агентская система целиком; сообщаются баллы покрытия, задержка и стоимость.

Шестнадцать систем, проверенных на финальной проверенной (audited) версии, показали строгий успех от 64,32% до 83,60%. Лидеры идут плотной группой, но при этом резко расходятся по стоимости и надёжности в отдельных доменах. Авторы называют бенчмарк проверяемой рамкой для измерения целостности бизнес-транзакций, опирающейся на контракты, и соблюдения политик, объявленных в задачах; структура переносима и рассчитана на расширение по мере улучшения моделей. Репозиторий размещён на GitHub в организации salesforce-misc.

Ключевые факты

CRM-Agent-Bench: 555 задач с сохранением состояния и многими репликами, девять бизнес-доменов, 36 тегов умений.
Каждая задача имеет исполняемый контракт проверок действий, аргументов, порядка, ответа, целевого и защищённого состояния; успех, строгая конъюнкция проверок.
Авторы предлагают оценивать агентов по четырём граням: результат, траектория, операционная пригодность, соблюдение политик.
У шестнадцати систем строгий успех от 64,32% до 83,60%; лидеры близки по качеству, но сильно различаются по стоимости и надёжности по доменам.
Код бенчмарка опубликован на GitHub в организации salesforce-misc.

Почему это важно

Агентов всё чаще встраивают в бизнес-процессы, где ошибка в действии, а не в словах, стоит денег. Работа предлагает измерять именно выполнение: проверять итоговое состояние данных, порядок действий и то, не затронуто ли защищённое состояние, а не только текст ответа. Разброс строгого успеха от 64,32% до 83,60% показывает, что даже у лучших систем остаётся заметная доля неудач.

Кому это важно

Командам, которые внедряют ИИ-агентов в CRM и похожие корпоративные системы, а также исследователям, строящим оценки агентов с инструментами. Результат о расхождении лидеров по стоимости и надёжности в отдельных доменах полезен тем, кто выбирает систему под конкретную задачу.

Как это применить

Авторы публикуют репозиторий на GitHub (salesforce-misc/crm-agent-bench). Можно взять идею контрактов, привязанных к задаче, и применять её для собственных проверок агентов: действия, аргументы, порядок, ответ и состояние до и после. Структура, по заявлению авторов, переносима и рассчитана на расширение.

Можно ли доверять

Это описание работы по аннотации, оценки выполнены самими авторами. Версия бенчмарка названа проверенной финальной (audited). Названия оценённых систем и распределение результатов между ними в аннотации не раскрыты, поэтому судить о конкретных лидерах нельзя.

Риски и подводные камни

Строгая конъюнкция проверок делает оценку жёсткой: одна неудачная проверка обнуляет задачу. Бенчмарк охватывает область CRM и заданные авторами политики, так что перенос выводов на другие сферы не гарантирован. Сами авторы отмечают, что структура рассчитана на расширение по мере улучшения моделей.