Учёные предложили LLM с «бесконечными» параметрами: веса генерируются на лету из данных диалога

Препринт на arXiv (подан 16 сентября 2026 года) описывает архитектуру под названием «Infinite-Parameter LLM», модель с языковыми весами, которые не хранятся заранее в фиксированном банке параметров, а генерируются на лету из данных, поступающих во время работы.

Авторы отталкиваются от известного наблюдения: языковая модель становится способнее с ростом числа параметров и объёма обучающих данных, и архитектуры Mixture-of-Experts (MoE, «смесь экспертов») довели эту закономерность до впечатляющих результатов, активируя на каждый токен лишь часть огромного заранее обученного банка параметров. Но этот подход работает только со статичными данными, на которых модель обучали заранее. В реальной эксплуатации значительная часть полезной информации, факты, которые сообщает пользователь, его исправления и уточнения, появляется уже во время диалога, а не в обучающей выборке. Обычная модель не может «выучить» такие данные: её веса заморожены после обучения, поэтому вся эта информация просто кладётся в промпт (через инструкцию или поиск по контексту), перечитывается заново на каждом запросе и теряется по завершении сессии.

Предлагаемое решение, компактная гиперсеть (hypernetwork), которая превращает данные, полученные во время работы, в низкоранговую модуляцию весов общей базовой сети: веса прямого распространения (feed-forward) не хранятся в фиксированном банке, а генерируются из живых данных сессии. В отличие от предыдущих генераторов весов, которые считывают контекст один раз и «замораживают» результат, авторы предлагают вести байесовское распределение вероятностей (belief) над скрытым кодом генератора и обновлять его онлайн по ходу сессии, то есть эффективные веса модели пересчитываются из этого меняющегося распределения, а не фиксируются после однократного прочтения контекста. Хранимый объём параметров при этом остаётся неизменным, но количество весовых конфигураций, которые модель способна собрать «на лету», формально не ограничено.

По утверждению авторов, перенос знаний и поведения, полученных во время сессии, из промпта в веса модели выгоднее по вычислениям (амортизируется, а не пересчитывается заново на каждом запросе), освобождает окно контекста, сохраняется между репликами диалога (а не теряется при новом запросе) и потенциально обобщается лучше, чем обучение в контексте (in-context learning). Работа также описывает протокол оценки, которым предлагается сравнить новый подход с in-context learning и поиском по внешним источникам (retrieval), но сами результаты такого сравнения в статье не приводятся: это предложение архитектуры и метода оценки, а не отчёт об экспериментах. На странице препринта не указаны имена авторов и организации, не приведены данные о числе параметров, вычислительных затратах или задержке, и не упомянут выход кода, весов или датасета.

Ключевые факты

Предложена архитектура «Infinite-Parameter LLM»: компактная гиперсеть генерирует веса feed-forward-слоёв базовой модели из данных, поступающих во время диалога, вместо того чтобы хранить их в фиксированном банке параметров.
Ключевое отличие от прежних генераторов весов, онлайн-обновление: авторы ведут байесовское распределение над скрытым кодом генератора и пересчитывают его по ходу сессии, а не фиксируют после одного прочтения контекста.
Заявленные преимущества переноса знаний из промпта в веса: экономия вычислений, освобождение окна контекста, сохранение информации между репликами и потенциально лучшее обобщение, чем при обучении в контексте.
Статья предлагает протокол оценки против in-context learning и retrieval, но экспериментальных результатов, числа параметров, данных о вычислительных затратах и сведений об авторах или организациях в препринте нет.
Работа, препринт arXiv от 16 сентября 2026 года без указания авторов; код, веса или датасет не анонсированы.

Почему это важно

Сейчас у языковых моделей веса заморожены после обучения, поэтому всё, что модель узнаёт во время диалога, факты, поправки пользователя, контекст задачи, она держит только в промпте: перечитывает его заново на каждом запросе и теряет по завершении сессии. Предложенная архитектура пытается устранить это ограничение, позволяя модели буквально записывать полученную во время работы информацию в свои веса, а не только в текст запроса, то есть приблизиться к обучению «на лету» без переобучения всей модели.

Кому это важно

В первую очередь, исследователям архитектур языковых моделей и специалистам по Mixture-of-Experts: работа предлагает альтернативный способ расширять эффективную «ёмкость» модели без роста хранимого банка параметров. Также это интересно тем, кто строит диалоговые системы и агентов, которым нужно долго удерживать и использовать информацию, полученную от пользователя за время сессии, экономя при этом окно контекста.

Как это применить

Практического применения пока нет: это предложение архитектуры и протокола оценки, а не готовый метод. Авторы описывают, как можно было бы сравнить подход с обучением в контексте и с поиском по внешним источникам, но сами результаты такого сравнения в статье отсутствуют, как и код, веса модели или датасет для воспроизведения.

Можно ли доверять

Это непрошедший рецензирование препринт arXiv, поданный 16 сентября 2026 года. На странице абстракта не указаны ни авторы, ни их организации, поэтому проверить, кто стоит за работой, по имеющемуся тексту нельзя. Экспериментальных результатов, подтверждающих заявленные преимущества (экономию вычислений, лучшее обобщение), в статье нет, есть только предложенная архитектура и план того, как её можно было бы проверить.

Риски и подводные камни

Главный риск, отсутствие экспериментальной проверки: все заявленные выгоды (экономия вычислений, лучшее обобщение по сравнению с in-context learning) пока не подтверждены результатами, только сформулированы как гипотеза и протокол для будущей проверки. Кроме того, перенос информации из промпта в веса модели усложняет контроль над тем, что модель «запомнила»: в отличие от текста в промпте, который виден и можно отредактировать напрямую, содержимое сгенерированных весов не так просто проверить или скорректировать вручную.