Представлена IQuest-Q1: открытая модель на 320 млрд параметров для агентного кодинга

Опубликована статья о IQuest-Q1, агентной базовой модели с архитектурой разреженной «смеси экспертов» (MoE). Всего в ней 320 млрд параметров, из которых на каждом шаге активны 15 млрд. Главная цель, по описанию авторов, сильные способности в агентном программировании, при этом модель, как сказано, показывает возможности и в кодинге, и в общих задачах.

Разработка идёт в три стадии. Первая, «стабильное и эффективное» предобучение: используется сочетание Stable SplitNorm, оптимизатора Muon и muP, а также двухэтапная программа, где на втором этапе доля кода в данных увеличивается. По словам авторов, такой подход сохраняет широкий запас устойчивости между безопасной и оптимальной скоростью обучения.

Вторая стадия, «тонкое» промежуточное обучение (mid-training): набор данных расширяется по областям и форматам, а длина контекста наращивается постепенно. Третья, дообучение сразу под несколько «обвязок» (scaffold) и в нескольких версиях: оно объединяет SFT, обучение с подкреплением (RL) по отдельным доменам и MOPD. Цель, свести разные обучающие сигналы вместе и усилить агентные навыки программирования.

Отдельным шагом применено слияние моделей (model merging): оно объединяет разных «экспертов» и контрольные точки с разных стадий, сглаживая конфликты между обновлениями их параметров. Модель выпущена как открытая, чтобы поддержать исследования и разработки сообщества. Результатов бенчмарков и сравнения с другими моделями в описании нет, как нет и сведений о лицензии, ссылке на загрузку и расшифровки аббревиатур.

Ключевые факты

IQuest-Q1, разреженная MoE-модель: 320 млрд параметров всего, 15 млрд активных.
Обучение в три стадии: предобучение (Stable SplitNorm, Muon, muP, двухэтапная программа с ростом доли кода), промежуточное обучение с расширением данных и контекста, дообучение под разные «обвязки» (SFT, RL по доменам, MOPD).
Слияние моделей объединяет экспертов и контрольные точки разных стадий, смягчая конфликты обновлений параметров.
Модель объявлена открытой, но цифр качества и сравнения с другими моделями в описании нет.

Почему это важно

Открытая модель такого размера, нацеленная именно на агентное программирование, пополняет небольшой круг доступных сообществу решений для работы с кодом. При 320 млрд параметров всего и 15 млрд активных она относится к крупным MoE-моделям, но на каждом шаге задействует лишь малую часть весов. Интерес представляет и подробно описанный рецепт обучения: от стабилизации предобучения до слияния экспертов.

Кому это важно

Исследователям, которые изучают обучение больших MoE-моделей и сочетания методов вроде Muon и muP. Командам, которые строят инструменты для программирования и агентные системы и присматриваются к открытым моделям. Тем, кого интересует, как собирают итоговую модель из нескольких экспертов и контрольных точек.

Как это применить

Из описания видно лишь, что модель выпущена как открытая. Где её скачать и на каких условиях лицензии она распространяется, в описании не сказано, поэтому перед использованием стоит найти страницу релиза и проверить условия. Практический вывод на сегодня, присмотреться к модели и проверить её на собственных задачах, а не полагаться на заявления авторов.

Можно ли доверять

Пересказ основан только на аннотации статьи. Все утверждения о возможностях модели, слова самих авторов, без цифр: результатов бенчмарков и сравнения с другими моделями в описании нет. Поэтому заявленную силу в кодинге и в общих задачах пока нельзя считать подтверждённой независимо.

Риски и подводные камни

Без метрик невозможно понять, где модель сильна, а где нет, и как она соотносится с конкурентами. Не названы длина контекста, объём обучающих данных и затраты на обучение, не расшифрованы MOPD и Stable SplitNorm. Для развёртывания 320-миллиардной модели вероятно потребуются серьёзные ресурсы, хотя активны лишь 15 млрд параметров. Лицензия в описании не указана, так что условия использования придётся уточнять отдельно.