Языковая модель сама переписала свои веса без градиентов: препринт
На arXiv (раздел «Искусственный интеллект») опубликован препринт «Language Models Can Rewrite Their Own Weights» («Языковые модели могут переписывать собственные веса»): версия 1 подана 16 ноября 2026 года, версия 2, 18 ноября. Его авторы исходят из того, что языковую модель обучают один раз и замораживают. Сделать её лучше можно новым циклом обучения либо промптом, обвязкой или дополнительными вычислениями на этапе вывода, но их эффект исчезает, когда задача закончена. Авторы предлагают «третий путь»: по их утверждению, впервые, языковая модель собственными рассуждениями переписывает свои веса и становится лучше, без градиентов и без обучения. Они называют это self-rewriting (самопереписывание): модель сама для себя оптимизатор.
По описанию авторов, в более ранней работе передовая модель правила гораздо меньшую. Здесь же открытая модель на 27 млрд параметров получает свои веса, оценённые ответы и возможность запускать саму себя, диагностирует собственные ошибки и переписывает веса, на которых работает. Результат: её собственная правка делает её на 6,6 пункта точнее на задачах, которых она не видела. Это абсолютная разница в пунктах, а не относительный процент.
Модель улучшается и дальше: она проверяет свои правки на тренировочных задачах и отправляет только те, что сработали; каждая правка лучше предыдущей, а на протяжении восьми последовательных сессий точность только растёт. Сколько пунктов набралось за восемь сессий, в аннотации не сказано.
Ещё одно заявленное свойство, починка повреждённой копии себя, «как сломанный робот, который чинит себя, не будучи собранным заново». Копия почти ничего не решает, но без переобучения и ни разу не читая исходные веса модель возвращает её более чем к 80% исходной точности на задачах с изображениями, которых не видела. Здесь 80%, доля от точности оригинала.
Авторы также пишут, что способность появляется с масштабом: в одном семействе моделей меньшие модели либо не делают правки, либо ломают себя, и только самая большая улучшает и чинит себя. В отличие от масштабирования вычислений на этапе вывода (test-time scaling), самопереписывание записывает выигрыш прямо в веса и не стоит ничего на каждый ответ; в отличие от обучения, оно использует только прямые проходы, как и обычный запуск модели.
В выводах авторы говорят, что стена между обучением и выводом, ограничение наших инструментов, а не свойство интеллекта. Они считают самопереписывание необходимым шагом к рекурсивному самоулучшению: модель, которая, как человек, не разделяет обучение и вывод, могла бы обновлять себя всю жизнь, без более крупной модели, без обвязки и промпт-инжиниринга, без пред- и постобучения. Это убеждение авторов, а не показанный результат.
Ключевые факты
- Препринт на arXiv (версия 1, 16 ноября 2026, версия 2, 18 ноября): открытая модель на 27 млрд параметров, по утверждению авторов, переписывает собственные веса без градиентов и обучения.
- Модель получает свои веса, оценённые ответы и возможность запускать себя, а свои правки проверяет на тренировочных задачах и отправляет только удачные.
- Заявленный выигрыш: на 6,6 пункта точнее на задачах, которых модель не видела; за восемь последовательных сессий точность только растёт.
- Повреждённую копию, которая почти ничего не решала, модель возвращает более чем к 80% исходной точности на незнакомых задачах с изображениями, не читая исходные веса.
- Способность, по словам авторов, появляется с масштабом: в одном семействе моделей меньшие ломают себя или не делают правок, и лишь самая большая улучшается и чинится.
Почему это важно
Обычно улучшение модели требует нового цикла обучения, а приёмы вроде промптов или дополнительных вычислений при ответе не сохраняются после задачи. Авторы утверждают, что модель может записывать улучшение прямо в собственные веса, пользуясь только прямыми проходами, как при обычной работе. Если это подтвердится, граница между обучением и использованием модели окажется менее жёсткой. Пока это заявление авторов о собственных результатах, а не установленный факт.
Кому это важно
Исследователям обучения и самоулучшения моделей, а также тем, кто следит за темой рекурсивного самоулучшения: авторы прямо называют самопереписывание необходимым шагом к нему. Практикам, которые платят за вычисления на каждый ответ, интересно заявление, что выигрыш записывается в веса и ничего не стоит на каждый ответ.
Как это применить
Прямого применения в источнике нет: в аннотации не описан механизм правки весов, не названа конкретная модель, и страница не указывает готовых инструментов. Разумный шаг для заинтересованных, прочитать полный текст (PDF или HTML-версия на arXiv) и посмотреть, как именно устроена правка и на каких задачах измерены результаты.
Можно ли доверять
Это препринт на arXiv. Все утверждения принадлежат авторам, а сами они пишут «насколько нам известно, впервые». На странице аннотации не названы ни сама 27-миллиардная модель и её разработчик, ни набор задач, ни исходная точность, относительно которой считаются 6,6 пункта; не сказано, повторялся ли результат в нескольких запусках. Состав авторов и организации на странице не перечислены (в истории подачи указан лишь отправитель Jiajun Fan), статуса рецензирования нет. О независимой проверке или внешних откликах в источнике не сообщается.
Риски и подводные камни
Оценить размер эффекта сложно: 6,6 пункта без базового уровня ничего не говорят о том, насколько это много. Цифра «более 80%» относится только к задачам с изображениями и считается от точности оригинала. Утверждение о появлении способности с масштабом касается одного семейства моделей, которое в аннотации не названо. Вывод о том, что самопереписывание, необходимый шаг к рекурсивному самоулучшению, убеждение авторов, а не продемонстрированный результат.
«Стена между обучением и выводом, ограничение наших инструментов, а не свойство интеллекта.»
— авторы препринта «Language Models Can Rewrite Their Own Weights», arXiv