Ring-2.5-1T-Zero: нейросеть на триллион параметров научилась рассуждать без разметки человеком
Zero RL, обучение с подкреплением на проверяемых наградах (verifiable rewards) без размеченных человеком данных, стало мощным способом прививать модели пошаговое рассуждение (chain-of-thought). Но из-за вычислительных затрат почти все прежние эксперименты ограничивались небольшими моделями: как этот метод ведёт себя на действительно крупном масштабе, оставалось неизвестным.
Авторы построили стабильный и эффективный обучающий пайплайн для масштабирования zero RL: обрезку выборки по важности (clipped importance sampling), коррекцию соотношения обучение/инференс и контроль смешанной точности вычислений. Это позволило довести обучение до модели на триллион параметров, Ring-2.5-1T-Zero, и при этом справиться с типичными проблемами наивного масштабирования: плохой читаемостью рассуждений, избыточностью токенов и негибкой глубиной рассуждения.
Эксперименты дали три ключевых вывода. Во-первых, масштабирование до триллиона параметров заметно повышает эффективность использования обучающих примеров и поднимает потолок итогового качества. Во-вторых, обучение проходит через две последовательные фазы: сначала модель «нащупывает» разные стратегии рассуждения (фаза открытия), затем оттачивает найденное (фаза шлифовки). В-третьих, и это главная находка, модель самопроизвольно, без какой-либо ручной настройки, вырабатывает продвинутые когнитивные приёмы: очеловечивание собственных рассуждений (anthropomorphism), структурированное форматирование ответа, самопроверку промежуточных шагов, параллельное рассуждение по нескольким веткам и «контекстную тревожность» (context anxiety), беспокойство модели о том, что она теряет часть условия задачи. Авторы делают вывод, что при достаточном масштабе такие ручные эвристики, которые раньше приходилось закладывать в модель искусственно, становятся попросту не нужны.
Ring-2.5-1T-Zero протестировали на семи математических бенчмарках и получили конкурентоспособные результаты. Дополнительно авторы предложили собственный фреймворк оценки качества цепочек рассуждений по трём измерениям, понятность, воспроизводимость и эффективность, и по этим критериям модель показала явное преимущество: она выдаёт более структурированные и лаконичные цепочки рассуждений, чем аналоги меньшего размера.
Ключевые факты
- Модель Ring-2.5-1T-Zero обучена методом zero RL (обучение с подкреплением без разметки человеком) с нуля до масштаба в триллион параметров
- Для стабильного обучения такого масштаба применены обрезка выборки по важности, коррекция соотношения обучение/инференс и контроль смешанной точности
- Масштабирование повышает эффективность обучения и потолок качества; обучение проходит через фазу открытия стратегий и фазу их шлифовки
- Модель самопроизвольно выработала пять продвинутых когнитивных приёмов: очеловечивание рассуждений, структурированное форматирование, самопроверку, параллельное рассуждение и «контекстную тревожность»
- На семи математических бенчмарках модель показала конкурентоспособный результат и, по предложенному авторами фреймворку из трёх измерений, более структурированные и лаконичные рассуждения
Почему это важно
Zero RL позволяет обучать модели рассуждению без дорогой ручной разметки данных, это дешевле и масштабируемее, чем классический supervised fine-tuning. До сих пор такие эксперименты ставили только на небольших моделях из-за вычислительных ограничений, поэтому было неясно, что произойдёт при переходе к действительно крупному масштабу. Эта работа, одна из первых, показавших поведение zero RL на масштабе в триллион параметров, и главная находка в том, что при таком масштабе модель сама, без ручной настройки, начинает применять сложные стратегии рассуждения.
Кому это важно
В первую очередь, исследователям и инженерам, которые занимаются обучением крупных reasoning-моделей методами обучения с подкреплением, и тем, кто проектирует инфраструктуру для обучения моделей триллионного масштаба. Полезно и тем, кто изучает, как и почему у языковых моделей возникают новые способности по мере роста размера.
Как это применить
Авторы описывают конкретные инженерные приёмы для устойчивого масштабирования zero RL-обучения: обрезка выборки по важности, коррекция соотношения обучение/инференс и контроль смешанной точности вычислений, их можно переиспользовать при обучении других крупных RL-моделей. Отдельно предложен фреймворк оценки качества цепочек рассуждений по трём измерениям, понятность, воспроизводимость, эффективность, который можно применять как самостоятельный инструмент оценки reasoning-моделей, а не только для этой конкретной работы.
Можно ли доверять
Материал, препринт на HuggingFace Papers, на момент публикации набравший 45 очков и 2 комментария; независимой проверки или воспроизведения результатов другими командами пока нет. Результаты получены и представлены самими авторами модели, оценка проведена на семи математических бенчмарках, а обучение триллионной модели по конструкции пайплайна доступно повторить только организациям с сопоставимыми вычислительными ресурсами.
Риски и подводные камни
Обучение модели на триллион параметров требует вычислительных ресурсов, недоступных подавляющему большинству исследовательских групп, это ограничивает независимую проверку выводов. Описанные «эмерджентные» поведения, в частности «контекстная тревожность», представлены на уровне наблюдения, без строгого формального определения, и это оставляет простор для разных интерпретаций одних и тех же паттернов. Сама модель и веса публично не выложены, речь идёт об исследовательской статье, а не о готовом продукте.