AnyS1: быстрая модель System-1 снизила стоимость работы ИИ-агента на 75-91%

AnyS1: быстрая модель System-1 снизила стоимость работы ИИ-агента на 75-91%

Авторы статьи исходят из того, что автономные LLM-агенты тратят много денег и времени, потому что обращаются к большой модели (System-2) на каждом шаге, хотя многие промежуточные действия сводятся к выбору из небольшого набора заранее известных вариантов. Существующие двухсистемные агенты уже перекладывают такие решения на лёгкую модель System-1, но для этого им нужны специальные «крючки» (hooks), которые вручную пишут под каждую среду и каждый рабочий процесс.

AnyS1 предлагает обойтись без ручной работы. Идея в том, что процедурные навыки (skills), написанные людьми, в своих инструкциях и так указывают, где возникает выбор и какие варианты применимы. Из них можно получить общий, не привязанный к предметной области источник «точек принятия решений».

Офлайн-этап устроен так. Система находит обоснованные перечислимые решения более чем в 1000 публичных навыков. Затем собирает состояния траекторий, привязанные к реальному выполнению, внутри изолированных контейнеров и строит из них обучающий набор Any-DP. После этого на нём обучается одна калиброванная указательная (pointer) модель System-1 на 4 млрд параметров; обучение идёт со сглаживанием меток (label smoothing).

Во время работы скомпилированные рабочие процессы разрешают рутинные решения за один прямой проход модели System-1. Если уверенность падает ниже калиброванного порога, управление возвращается большой модели System-2.

Результаты, по заявлению авторов: на трёх не виденных при обучении бенчмарках и с разными семействами моделей System-2 AnyS1 сохраняет надёжность выполнения задач. При этом стоимость эпизода снижается на 75-91%, а время вызовов модели на 63-92% относительно агента на одной System-2 без компиляции. Производительность сохраняется и при переносе порога уверенности без дополнительной настройки (zero-shot threshold transfer).

Ключевые факты

  • AnyS1 берёт точки принятия решений из более чем 1000 публичных навыков, написанных людьми, и не требует отдельных «крючков» под каждую среду.
  • Рутинные решения разрешает одна калиброванная указательная модель System-1 на 4 млрд параметров за один прямой проход.
  • При низкой уверенности (ниже калиброванного порога) агент возвращается к большой модели System-2.
  • На трёх не виденных при обучении бенчмарках стоимость эпизода ниже на 75-91%, а время вызовов модели на 63-92% относительно агента на одной System-2 без компиляции.
  • Авторы утверждают, что надёжность выполнения задач сохраняется и работает перенос порога уверенности без дополнительной настройки.

Почему это важно

Вызов большой модели на каждом шаге делает агентов дорогими и медленными. По формулировке авторов, значительная часть промежуточных действий, выбор из небольшого набора известных вариантов, и для такого выбора большая модель избыточна. Новизна AnyS1 в том, что точки принятия решений берутся из готовых человеческих навыков, а не пишутся вручную под каждую среду. Одна модель System-1 при этом служит многим рабочим процессам.

Кому это важно

Командам, которые строят и запускают LLM-агентов и считают стоимость эпизода и время вызовов модели. Также исследователям двухсистемных агентов (быстрая System-1 плюс медленная System-2) и тем, кто работает с процедурными навыками для агентов.

Как это применить

Это научная статья, а не готовый продукт. Сведений о выпуске кода, набора Any-DP или самой модели в источнике нет. Практический вывод пока такой: рутинные выборы внутри рабочего процесса можно выносить на малую калиброванную модель с отступлением к большой при низкой уверенности. Само устройство метода описано в аннотации: офлайн-майнинг решений из навыков, обучение модели на 4 млрд параметров, пороговый переход к System-2.

Можно ли доверять

Все цифры взяты из аннотации и заявлены самими авторами. В аннотации не названы авторы и институты, а также три бенчмарка и семейства моделей System-2. Нет абсолютных значений стоимости и задержки, а утверждение о сохранении надёжности не подкреплено числами. Не указано, как диапазоны 75-91% и 63-92% распределяются по бенчмаркам и моделям. Независимой проверки нет.

Риски и подводные камни

Диапазоны экономии широкие, и без разбивки по бенчмаркам неясно, где реальный результат ближе к нижней границе. Не приведена доля шагов, на которых агент всё же обращается к System-2, поэтому выгоду на собственных задачах оценить трудно. Не описаны ограничения и случаи неудач. Метод опирается на навыки, где выбор заранее перечислим, так что для задач без таких решений перенос результата не гарантирован.