ИИтог

GPT-5.6 и DeepSeek-R1: как LLM научили переключать уровень рассуждений

исследованияРедакция ИИтогSebastian Raschka🔥76Рейтинг ИИтог · значимость 65 · 50000/ч
GPT-5.6 и DeepSeek-R1: как LLM научили переключать уровень рассуждений

Два года назад OpenAI выпустила модель o1, которая закрепила саму идею reasoning-моделей, систем, выдающих промежуточную цепочку рассуждений перед финальным ответом. Через четыре месяца вышла DeepSeek-R1 вместе с рецептом обучения RLVR (reinforcement learning with verifiable rewards, обучение с подкреплением на проверяемых вознаграждениях). На прошлой неделе OpenAI выпустила семейство GPT-5.6, три размера модели, и в каждом от пяти до шести уровней «усилия рассуждений» (reasoning effort). Себастьян Рашка, автор 440-страничной книги «Build A Reasoning Model (From Scratch)» и серии статей о reasoning-моделях, в новом разборе объясняет механику этого переключения.

RLVR устроен просто: модель получает 0 или 1 за правильность ответа в областях, где результат можно проверить формально, математика (проверка символьными системами вроде SymPy или WolframAlpha) и код (компилятор, юнит-тесты, платформы вроде LeetCode). Сама цепочка рассуждений в обучении не используется напрямую, DeepSeek-R1 пробовал брать её как дополнительный сигнал, но это не дало пользы, и от идеи отказались. Обучаясь только на вознаграждении за итоговый ответ, модель сама учится писать промежуточные объяснения, возвращаться назад и исправлять свои ошибки, такие моменты самокоррекции называют «Aha moments». В тот же день, что и DeepSeek-R1 (22 января 2025), на arXiv вышла статья Kimi K1.5 с похожим результатом, а сам термин RLVR был предложен ещё раньше, в статье Tülu 3. DeepSeek-R1 стала известнее конкурентов, потому что показала: reasoning-поведение можно получить чистым обучением с подкреплением поверх базовой модели (вариант DeepSeek-R1-Zero), тогда как Kimi K1.5 и Tülu 3 применяли RL уже поверх модели, дообученной с учителем (SFT).

Второй рычаг улучшения качества, помимо обучения, масштабирование вычислений на этапе вывода (inference scaling): reasoning-модели и так генерируют больше токенов, чем обычные LLM, а значит тратят больше вычислений на ответ. Есть и дополнительные техники: например, самосогласованность (self-consistency), модель отвечает на один и тот же запрос несколько раз, а итоговый ответ выбирается голосованием большинства. DeepSeekMath-V2 использовала экстремальное масштабирование вывода поверх reasoning-модели, специализированной на математике, чтобы решать сложные олимпиадные задачи. Отдельно Рашка разбирает теги , которыми размечена цепочка рассуждений в ответе: они чисто косметические и сами по себе не наделяют модель способностью рассуждать, та же модель без этих тегов показывала бы похожее качество. Их единственная задача, пометить начало и конец цепочки рассуждений, чтобы интерфейс (например, ChatGPT или Codex) мог скрыть её от пользователя. Такое поведение закрепляется во время обучения через дополнительное вознаграждение за формат: итоговая награда в DeepSeek-R1 считалась как R_total = R_accuracy + R_format.

Первое поколение reasoning-моделей было «выделенным»: отдельная базовая модель (DeepSeek-V3) и отдельная reasoning-версия (DeepSeek-R1) без возможности отключить рассуждения, R1 всегда выдаёт многословный ответ, даже на простые вопросы. Более поздние модели, включая Qwen3, научились совмещать оба режима в одной модели. У Qwen3 это делается через параметр токенизатора enable_thinking=True/False: при False в начало ответа модели принудительно вставляются пустые теги , отключающие режим рассуждений. Согласно техническому отчёту Qwen3, это поведение вводится через дообучение с учителем и закрепляется в общем этапе обучения с подкреплением на флагманских моделях: после базового обучения reasoning-модели добавляется отдельный этап «Thinking Mode Fusion», где модель видит примеры и с рассуждениями (/think), и без них (/no_think). Флаги /think и /no_think, это «мягкий» переключатель, а enable_thinking=False, «жёсткий»: токенизатор напрямую подставляет пустые теги, и модель их просто видит как данность и продолжает сразу с ответом.

По мнению Рашки, этот переключатель «вкл/выкл», упрощённая версия того, что сегодня называют уровнями reasoning effort в GPT-5.6 и других флагманских моделях: например, в интерфейсе Codex для GPT-5.6 пользователь может выбрать один из нескольких уровней «усилия». OpenAI не раскрывает точную реализацию этих уровней для GPT-5.6, но кое-что можно понять по открытым моделям gpt-oss, выпущенным годом ранее: там уровень усилия задаётся текстом в системном промпте («Reasoning effort: low/medium/high»), который добавляется перед каждым запросом. Ожидаемо, что более высокий уровень усилия ведёт к более длинному ответу и более высокой точности. Рашка предполагает, что модели семейства GPT-5, включая GPT-5.6, скорее всего используют схожий подход, доступный автору фрагмент статьи обрывается на этом месте, не раскрывая деталей полностью.

Ключевые факты

  • На прошлой неделе OpenAI выпустила семейство GPT-5.6, три размера модели, в каждой по пять-шесть уровней «усилия рассуждений» (reasoning effort).
  • Reasoning-модели тренируют через RLVR: 0/1 за правильность в математике (проверка символьными системами вроде SymPy или WolframAlpha) и коде (компилятор, юнит-тесты, LeetCode); сама цепочка рассуждений в обучении не используется, DeepSeek-R1 пробовал брать её как сигнал, но это не помогло.
  • Теги в ответе модели чисто косметические: они не делают модель «умнее», а лишь помечают начало и конец рассуждений для интерфейса; в обучении это закрепляется вознаграждением за формат (R_total = R_accuracy + R_format).
  • Первое поколение reasoning-моделей было «выделенным», отдельная базовая и отдельная reasoning-версия (DeepSeek-V3 и DeepSeek-R1) без переключателя; гибридные модели вроде Qwen3 включают и выключают режим рассуждений в одной модели через параметр enable_thinking.
  • Точный механизм уровней reasoning effort в GPT-5.6 OpenAI не раскрывает, но по открытым моделям gpt-oss видно: уровень задаётся текстом в системном промпте («Reasoning effort: low/medium/high»), и чем выше уровень, тем длиннее и точнее ответ.

Почему это важно

Два года назад OpenAI выпустила o1 и запустила моду на reasoning-модели; сегодня умение модели гибко регулировать «глубину» размышлений (reasoning effort) стало стандартной частью почти любого флагманского релиза, от GPT-5.6 до Qwen3. Разбор Себастьяна Рашки объясняет механику этого явления: как модели вообще учат рассуждать (RLVR), почему теги , не более чем разметка, и как один и тот же переключатель эволюционировал от простого «вкл/выкл» до нескольких уровней усилия.

Кому это важно

Разработчикам, которые встраивают LLM в свои продукты через API и должны балансировать между стоимостью, задержкой ответа и точностью, уровень reasoning effort напрямую на это влияет. ML-инженерам и исследователям, которые обучают или дообучают reasoning-модели. Продуктовым командам, выбирающим между «выделенной» reasoning-моделью (как ранняя DeepSeek-R1) и гибридной моделью с переключаемым режимом (как Qwen3 или GPT-5.6).

Как это применить

На открытых моделях gpt-oss уровень усилия задаётся текстом в системном промпте («Reasoning effort: low/medium/high»), добавляемым перед запросом, похожий подход, предположительно, использует и GPT-5.6. У Qwen3 режим переключается параметром токенизатора enable_thinking=True/False либо флагами /think и /no_think прямо в промпте. Понимание этого механизма позволяет осознанно выбирать уровень усилия под задачу: низкий, для простых и дешёвых запросов, высокий, там, где точность важнее скорости и стоимости.

Можно ли доверять

Себастьян Рашка, признанный автор материалов о машинном обучении, написавший отдельную 440-страничную книгу о разработке reasoning-моделей и серию статей о состоянии инференс-скейлинга. Часть разбора (обучение через RLVR, устройство тегов , механика Qwen3) опирается на опубликованные технические отчёты и статьи (DeepSeek-R1, Kimi K1.5, Tülu 3, Qwen3). Но для новейшего GPT-5.6 OpenAI деталей не раскрывает, здесь автор прямо оговаривает, что это образованная догадка по аналогии с открытыми моделями gpt-oss, а не подтверждённый факт.

Риски и подводные камни

Реконструкция закрытой системы (GPT-5.6) по аналогии с открытой (gpt-oss) может не совпадать с тем, что реализовано внутри на самом деле, сам автор называет это предположением, а не фактом. Пользователи, выбирающие высокий уровень reasoning effort, платят за точность бо́льшей задержкой и стоимостью запроса, не имея полной прозрачности насчёт внутреннего устройства. Доступный фрагмент статьи обрывается ровно на объяснении механизма GPT-5.6, поэтому детали для этой конкретной модели остаются неполными.

««Reasoning-моделью» называют модель, которая выдаёт промежуточную цепочку рассуждений, нечто вроде чернового ответа, в котором она шаг за шагом разбирает вопрос или задачу.»

— Себастьян Рашка (Sebastian Raschka)