Рассуждающие модели ИИ слишком долго обдумывают задачи, и это угроза безопасности
Современные топовые языковые модели (LLM) не отвечают на запрос сразу, а сначала генерируют внутренний «монолог»: разбивают задачу на шаги и рассуждают, как её лучше решить, прежде чем дать ответ. Такой пошаговый режим рассуждений заметно расширил круг задач, которые под силу ИИ, особенно в программировании и математике. Но у этой способности есть обратная сторона: ранее уже было замечено, что подобные модели иногда уходят в чрезмерно длинные цепочки рассуждений, почти не улучшающие качество ответа. Это явление называют «overthinking» (избыточные раздумья).
На конференции ICML 2026 (Международная конференция по машинному обучению) в Сеуле исследователи из Чжэцзянского университета (Zhejiang University) и китайской Alibaba показали, что избыточные раздумья можно вызывать намеренно, подавая модели логически противоречивые запросы. По сути это форма атаки «отказ в обслуживании» (DoS) на коммерческие ИИ-модели: чем длиннее ответ, тем дороже он обходится и тем выше нагрузка на серверы провайдера, а при атаке в крупном масштабе это способно заметно ухудшить работу сервиса для обычных пользователей.
Команда разработала эволюционный алгоритм, который искажает логическую структуру запроса так, чтобы модель зациклилась на рассуждениях, пытаясь решить принципиально нерешаемую задачу. Метод отталкивается от более ранних наблюдений: рассуждающие модели склонны «перемудрить», если в вопросе не хватает ключевой посылки, например, вопрос «сколько всего пройдёт человек, если он проходит по 10 миль в день» без указания, сколько дней он шёл. Вместо того чтобы распознать, что задача нерешаема, модель уходит в долгие бесплодные рассуждения.
Авторы взяли 940 задач из трёх математических бенчмарков, с помощью LLM разложили их на набор посылок и итоговый вопрос, а затем генетический алгоритм «перемешивал» их: менял посылки местами между разными задачами, добавлял лишние посылки, удалял существующие, менял местами итоговые вопросы у разных наборов посылок. После каждого раунда «мутаций» получившиеся задачи оценивались по двум критериям, сколько слов генерирует на них модель и насколько чаще в ответе встречаются языковые маркеры избыточных раздумий (в англоязычных ответах, слова вроде «but», «wait», «maybe», «alternatively», то есть «но», «подождите», «может быть», «с другой стороны»). Лучшие по обоим критериям варианты отбирались, а остальные снова перемешивались; так повторили пять поколений отбора. Важно, что подход не требует доступа к внутреннему устройству модели, достаточно посылать запросы «снаружи», как обычный пользователь, а значит атаковать можно и закрытые коммерческие сервисы.
Атака сработала против рассуждающих моделей ведущих компаний, DeepSeek-R1, Qwen3-Thinking от Alibaba, GPT-o3 от OpenAI и Gemini 2.5 Flash от Google: на стандартном математическом бенчмарке она выдавала ответы длиннее обычных вплоть до 26 раз. Сильнее всего эффект проявился у DeepSeek-R1 на бенчмарке MATH (задачи школьных математических олимпиад), максимальный по длине ответ оказался в 26,1 раза длиннее самого длинного ответа модели на неизменённые вопросы. Помимо математики, метод проверили на программировании, научных рассуждениях и диалоговых задачах, и везде длина ответов заметно выросла.
Один из ограничивающих факторов: чтобы подобрать вредоносные запросы, нужно множество обращений к дорогим рассуждающим моделям, что снижает экономическую эффективность атаки, это признаёт один из авторов, магистрант Чжэцзянского университета Вэй Цао (Wei Cao). Однако исследователи показали и то, что вредоносные запросы, сгенерированные с помощью более простой и дешёвой модели, всё равно заставляют целевые модели выдавать ответы в несколько раз длиннее обычных, то есть запросы переносимы между моделями, что заметно повышает практическую применимость атаки.
При этом Цао подчёркивает: цель работы, не доказать, что крупномасштабные атаки можно проводить почти бесплатно, а показать само существование этой уязвимости («поверхности атаки»). По его словам, результаты говорят о том, что уязвимость представляет реальную угрозу безопасности; при этом на её фактическую эффективность в проде повлияют политика ценообразования и ограничения частоты запросов у конкретного провайдера, размер контекстного окна и уже существующие защитные меры, конечная цель авторов в том, чтобы провайдеры могли заняться устранением проблемы.
Ключевые факты
- Исследователи Чжэцзянского университета и Alibaba (доклад на ICML 2026 в Сеуле) показали: логически противоречивые запросы намеренно вызывают у рассуждающих ИИ-моделей избыточные раздумья, по сути это атака «отказ в обслуживании» на такие сервисы.
- Эволюционный алгоритм искажает 940 задач из трёх математических бенчмарков (перестановка/добавление/удаление посылок, подмена вопроса) за пять поколений мутаций, отбирая варианты с самыми длинными и «раздумчивыми» ответами.
- Атака сработала на DeepSeek-R1, Qwen3-Thinking (Alibaba), GPT-o3 (OpenAI) и Gemini 2.5 Flash (Google): ответы вырастали до 26 раз, максимум, 26,1× у DeepSeek-R1 на бенчмарке MATH.
- Метод не требует доступа к внутреннему устройству модели и работает даже при генерации вредоносных запросов более дешёвой моделью, то есть переносится между разными сервисами.
- Авторы подчёркивают: цель, показать наличие уязвимости, а не создать готовую атаку; реальная опасность для провайдера зависит от его ценовой политики, лимитов запросов и уже существующих защит.
Почему это важно
Рассуждающие модели (с цепочкой пошаговых размышлений) стали основой самых мощных коммерческих ИИ-сервисов, от программирования до математики. Исследование показывает, что тот же механизм, который делает эти модели умнее, открывает и новый вектор атаки: специально сконструированный текстовый запрос, без какого-либо эксплойта в коде, способен заставить модель сгенерировать ответ в десятки раз длиннее обычного, увеличивая расход вычислений и нагрузку на серверы провайдера. Это одна из первых демонстраций того, что избыточные раздумья, не просто случайный сбой производительности, а воспроизводимая уязвимость, общая для рассуждающих моделей разных компаний.
Кому это важно
В первую очередь, компаниям-провайдерам коммерческих рассуждающих моделей (в статье прямо названы OpenAI, Google, Alibaba и DeepSeek), поскольку атака увеличивает их вычислительные издержки и, при масштабировании, ухудшает качество обслуживания обычных пользователей. Значимо это и для исследователей ИИ-безопасности, изучающих новые классы уязвимостей рассуждающих моделей: авторы прямо говорят, что публикуют результат, чтобы дать провайдерам возможность заняться защитой.
Как это применить
Готового рецепта ни для атаки, ни для защиты статья не даёт, авторы намеренно не публикуют работу как инструмент, а как демонстрацию существования уязвимости. Единственный прямо названный практический вывод: раз вредоносные запросы строятся «снаружи», без доступа к внутреннему устройству модели, и переносятся между разными системами через более дешёвую модель-генератор, закрытость и коммерческий статус сервиса сами по себе от такой атаки не защищают, вопрос обороны требует отдельной проработки на стороне провайдера.
Можно ли доверять
Исследование представлено на профильной конференции ICML 2026 в Сеуле, устоявшейся рецензируемой площадке по машинному обучению, а не в блоге без проверки. Авторы, из Чжэцзянского университета и Alibaba, причём у Alibaba есть прямой интерес как у разработчика одной из атакованных моделей, Qwen3-Thinking: это скорее говорит в пользу добросовестности находки (компания фактически указала на уязвимость в своей же модели), чем против неё. Один из авторов, Вэй Цао, лично прокомментировал результаты для IEEE Spectrum по электронной почте. Атака проверена не на одной, а на четырёх моделях разных компаний и на нескольких типах задач, математика, программирование, научные рассуждения, диалоги, что снижает риск случайного или локального эффекта.
Риски и подводные камни
Сами авторы оговаривают ограничение: подбор вредоносных запросов требует множества обращений к дорогим рассуждающим моделям, что может снижать экономическую целесообразность атаки, хотя перенос запросов через более дешёвую модель-генератор частично снимает это ограничение. В статье прямо подчёркивается и другое: реальная эффективность атаки против конкретного сервиса зависит от факторов, которые исследование не проверяло «в бою», ценовой политики провайдера, ограничений частоты запросов, размера контекстного окна и уже действующих защит. Иначе говоря, лабораторный результат (рост длины ответа до 26 раз) не означает автоматически, что такую же атаку удастся так же эффективно провести против реального продакшен-сервиса.
«Наши результаты показывают, что избыточные раздумья, это не изолированное явление, свойственное отдельным моделям, а уязвимость, общая для современных рассуждающих моделей.»
— Вэй Цао (Wei Cao), магистрант Чжэцзянского университета, в письме IEEE Spectrum