Baidu открыла ERNIE-5.5-Flash-Base: базовая модель на 280 млрд параметров
Китайская компания Baidu выпустила ERNIE-5.5-Flash-Base, открытую базовую (foundation) модель, которая намеренно поставляется без тонкой настройки и пост-обучения. Издание The Decoder описывает это так: разработчикам предстоит самим решать, куда двигать модель дальше. Версия после пост-обучения, по тексту, должна появиться позже; срок не назван.
Архитектура, смесь экспертов (mixture-of-experts): всего 280 млрд параметров, из них 14 млрд активны на каждый входной запрос. Предобучение шло на 33,5 трлн токенов. Контекст при обучении, до 128 тысяч токенов, но модель рассчитана на работу с контекстом до одного миллиона токенов при дообучении и инференсе (запуске модели).
По заявлению Baidu, в тестах на рассуждение, код и работу с длинным контекстом модель конкурирует с открытыми базовыми моделями сопоставимого размера, такими как DeepSeek V4 Flash и MiMo V2.5. Конкретные результаты и список тестов в материале не приведены. Веса доступны на Hugging Face в форматах FP8 и BF16.
Ключевые факты
- Baidu выпустила ERNIE-5.5-Flash-Base, открытую базовую модель без тонкой настройки и пост-обучения; версия после пост-обучения должна выйти позже.
- Архитектура, смесь экспертов: 280 млрд параметров всего, 14 млрд активных на каждый вход.
- Предобучение на 33,5 трлн токенов; контекст при обучении до 128 тысяч токенов, рассчитана на контекст до одного миллиона токенов при дообучении и инференсе.
- По заявлению Baidu, в тестах на рассуждение, код и длинный контекст модель конкурирует с DeepSeek V4 Flash и MiMo V2.5.
- Веса опубликованы на Hugging Face в форматах FP8 и BF16.
Почему это важно
Крупная китайская компания открывает веса модели масштаба 280 млрд параметров, причём это именно базовая модель, а не готовый чат-ассистент. При 14 млрд активных параметров на вход Baidu сравнивает её с открытыми базовыми моделями сопоставимого размера, DeepSeek V4 Flash и MiMo V2.5. Для сообщества это ещё один крупный открытый вариант для собственного дообучения.
Кому это важно
Прежде всего разработчикам и исследовательским командам, которые сами дообучают модели и готовы вести пост-обучение под свои задачи. Тем, кто ждёт готового к использованию ассистента, придётся дождаться обещанной версии после пост-обучения, срок в материале не назван.
Как это применить
Веса лежат на Hugging Face в FP8 и BF16, то есть их можно скачать и использовать как основу для собственной тонкой настройки. По тексту, модель рассчитана на контекст до одного миллиона токенов при дообучении и инференсе, хотя обучали её на контексте до 128 тысяч токенов. Условия лицензии, требования к оборудованию, цены и доступ через API в источнике не указаны, их нужно смотреть на странице модели.
Можно ли доверять
Сведения об архитектуре, числе параметров, объёме предобучения и форматах весов, это описание самого выпуска. Утверждение о конкурентоспособности в тестах, слова Baidu, приведённые изданием без цифр и без перечня тестов, поэтому независимо проверить его по этому материалу нельзя.
Риски и подводные камни
Это базовая модель без пост-обучения, поэтому в сыром виде она не рассчитана на диалог и выполнение инструкций: основная работа ложится на разработчика. Сравнение с DeepSeek V4 Flash и MiMo V2.5 заявлено самой компанией. Лицензия не названа, а срок выхода версии после пост-обучения неизвестен.