Claude Opus 5 и открытые модели чаще ошибаются, когда в промпте несколько задач

В препринте, опубликованном на Hugging Face Papers, описано ограничение современных языковых моделей. Их всё чаще просят решить несколько задач в одном запросе: нужно правильно решить каждую и собрать ответы в связный результат. Авторы показывают, что при такой композиции задач модели делают существенно больше ошибок, даже если каждую составную задачу по отдельности решают надёжно.

По мнению авторов, это падение качества нельзя полностью объяснить простым накоплением независимых ошибок. Их результаты, полученные и на моделях с открытыми весами, и на передовой модели Claude Opus 5, указывают на неявный «бюджет размышлений». При композиции модели тратят заметно меньше токенов на одну задачу, чем при её решении отдельно, и это происходит, даже когда вся последовательность с большим запасом помещается в контекстное окно.

Из этого следует, что задачи, которым в одиночку нужны более длинные цепочки решения, при объединении оказываются более хрупкими: на запросах с такими задачами модели ошибаются чаще. Напротив, «нехрупкие» задачи в изоляции получают больше рассуждений, чем им нужно, и тратят вычисления впустую.

Этим неявным бюджетированием, как пишут авторы, можно управлять. Если группировать задачи по степени их хрупкости, расход токенов удаётся снизить на 43% на ряде математических и лингвистических задач, при этом точность сохраняется. В аннотации не названы авторы, конкретные открытые модели, бенчмарки и число задач в одном запросе.

Ключевые факты

Модели делают существенно больше ошибок, когда задачи объединены в одном промпте, хотя каждую из них по отдельности решают надёжно.
Падение качества, по словам авторов, не сводится к накоплению независимых ошибок; результаты на открытых моделях и на Claude Opus 5 указывают на неявный «бюджет размышлений».
При композиции модели используют заметно меньше токенов на задачу, даже когда последовательность далека от предела контекстного окна.
Задачи, требующие в одиночку длинных цепочек решения, оказываются более хрупкими при объединении.
Группировка задач по хрупкости снижает расход токенов на 43% на ряде математических и лингвистических задач при сохранении точности.

Почему это важно

Запросы с несколькими задачами сразу, обычная практика, и результат показывает скрытую причину ошибок: дело не только в длине контекста. По данным авторов, модели сами урезают объём рассуждений на каждую задачу, когда задач в запросе несколько, и это сказывается на качестве. Эффект наблюдается и у открытых моделей, и у Claude Opus 5.

Кому это важно

Разработчикам приложений на основе нейросетей, которые собирают в один запрос несколько подзадач. Исследователям, изучающим вычисления на этапе вывода и длину рассуждений. Командам, которые считают расходы на токены и ищут способы их сократить.

Как это применить

Практическая идея из аннотации: не смешивать задачи в запросе случайно, а группировать их по хрупкости, то есть по тому, насколько длинная цепочка решения нужна каждой в одиночку. По утверждению авторов, так удаётся снизить расход токенов на 43% при сохранении точности. Как именно измерять хрупкость и составлять группы, в аннотации не описано, поэтому детали стоит искать в полном тексте работы.

Можно ли доверять

Это препринт, и мы видели только короткую аннотацию на Hugging Face Papers. Все выводы, утверждения самих авторов, независимой проверки в тексте нет. Аннотация не уточняет, среднее это, медиана или максимум для цифры в 43%, и не приводит базовых значений точности и числа токенов. Какие именно открытые модели и какие задачи использовались, из текста не видно.

Риски и подводные камни

Цифра 43% относится к «ряду математических и лингвистических задач», и переносить её на другие виды задач без проверки нельзя. Без деталей эксперимента сложно оценить, насколько результат устойчив для других моделей и условий. Кроме того, механизм возникновения неявного бюджета в аннотации не объяснён: назван сам эффект, но не его причина.