ИИтог

Reflection выпустила Beam: открытая модель на 501 млрд параметров

моделиРедакция ИИтогHugging Face🔥72Рейтинг ИИтог72Влияние70Новизна70Релевантность100Неожиданность45Участники60Достоверность82
Reflection выпустила Beam: открытая модель на 501 млрд параметров

Hugging Face совместно с командой Reflection опубликовала пост о Beam (репозиторий reflection/Beam-1.0-501B-A23B), открытой текстовой модели для программирования и агентных задач. Это разреженная модель типа «смесь экспертов» (MoE): всего 501 млрд параметров, из них на каждый токен задействуется около 23 млрд. Окно контекста, 1 млн токенов, лицензия, Apache 2.0. Авторы позиционируют Beam для команд, которые хотят запускать модель масштаба передовых на собственном оборудовании, в своей инфраструктуре или облаке и дообучать её под свои задачи. Вместе с моделью поставляется собственная открытая обвязка (harness) на Rust, которая, по словам авторов, даёт лучшую производительность модели.

Поддержка с первого дня заявлена в transformers, vLLM и SGLang; для дообучения с учителем (SFT) и обучения с подкреплением (RL) подготовлены рецепты, а полнопараметрическое RL-обучение идёт через Miles. Чекпоинты выложены в форматах BF16, FP8 и NVFP4. Модель поддерживает пять уровней рассуждения: low, medium (по умолчанию), high, xhigh и max; рассуждения могут сохраняться в контексте между репликами (preserve_thinking), а вызов инструментов использует отдельную грамматику. В токенизатор встроен шаблон ответа: метод parse_response разбирает вывод на рассуждение, ответ и вызовы инструментов без регулярных выражений. Для ускорения есть черновая модель для спекулятивного декодирования DFlash2: она предлагает до 15 токенов вперёд, а Beam проверяет их за один проход.

Архитектура. 52 слоя со скрытым размером 5120. Большинство слоёв (43) используют скользящее окно внимания на 512 предыдущих токенов, а каждый шестой слой и последний (всего 9) видят весь контекст. В скользящих слоях применяется RoPE, в глобальных позиционного кодирования нет, вместо него запрос умножается на масштаб, медленно растущий с числом видимых токенов. Внимание, групповое: 48 голов запросов и 8 голов ключей-значений, с RMSNorm на запросах и ключах и обучаемым сигмоидным гейтом. Первые 3 слоя, плотные SwiGLU, остальные 49, блоки MoE с 256 экспертами (по ~39 млн параметров каждый, вместе они составляют 98,4% параметров модели). Маршрутизатор следует групповой схеме DeepSeek-V3 (8 групп по 32 эксперта, 4 лучшие группы, затем 8 экспертов на токен), но без общего эксперта. Самая необычная часть, остаточные связи: вклад каждого подслоя входит с весом 1/sqrt(k), так что масштаб потока остаётся постоянным по всей глубине. Итоговые логиты ограничиваются tanh-софткэпом на ±30 в FP32.

Память и железо. Из-за гибридного внимания кэш ключей-значений растёт на 36 КиБ на токен вместо 208 КиБ, которые потребовались бы, если бы все 52 слоя хранили каждый токен, то есть примерно в шесть раз медленнее (на одну последовательность, BF16, динамический кэш transformers). Чекпоинт BF16 занимает около 1 ТБ; NVFP4 сжимает его до ~280 ГБ. Авторы называют NVFP4 самым практичным способом запуска, сохраняющим большую часть качества BF16, но он нативно работает только на Blackwell; для более старых GPU, вроде H200, подходит FP8. Две B200 (по 180 ГБ, 360 ГБ вместе) вмещают веса, но почти без запаса под активации и кэш, поэтому рекомендуется четыре B200 (720 ГБ); также подойдут полный узел 8×B200, две B300 по 288 ГБ или даже 8×RTX Pro 6000. Без Blackwell для проверки предлагается использовать Inference Providers (serverless). В примере transformers с экспертным параллелизмом модель запускается на 16 GPU H200 (по 78 ГБ весов на каждый; на 8 GPU вышло бы 139 ГБ при 141 ГБ памяти H200, места не остаётся). Пример vLLM обслуживает BF16-чекпоинт с тензорным параллелизмом на 16 GPU (два узла 8×H200) через OpenAI-совместимый API. В посте также приведены примеры кода для pipeline, чата и вызова инструментов (нужен transformers версии не ниже 5.20.1).

Конкурс. Reflection раздаст кредиты Hub на $10 000 лучшим проектам на базе Beam: демо в Spaces, квантизация под нужное железо, синтетический датасет, RL-среда, бенчмарк и любые другие работы. Чтобы участвовать, нужно опубликовать space, модель или датасет на Hub и поделиться ссылкой на странице репозитория модели; организаторы соберут ссылки, выберут лучшее и начислят кредиты на аккаунты. Результаты бенчмарков для разных уровней точности, по словам авторов, предоставила команда Reflection.

Ключевые факты

  • Beam, открытая текстовая MoE-модель для кодинга и агентных задач: 501 млрд параметров, ~23 млрд активных на токен, 256 экспертов на слой, по 8 на токен; контекст 1 млн токенов, лицензия Apache 2.0.
  • Поддержка в transformers, vLLM и SGLang с первого дня; чекпоинты в BF16 (около 1 ТБ), FP8 и NVFP4 (~280 ГБ); в комплекте открытая обвязка на Rust и черновая модель DFlash2 для спекулятивного декодирования.
  • Гибридное внимание (43 слоя со скользящим окном в 512 токенов, 9 глобальных) снижает рост кэша до 36 КиБ на токен вместо 208 КиБ.
  • Для запуска NVFP4 авторы рекомендуют четыре B200 (720 ГБ); BF16 в примере vLLM идёт на 16 GPU H200.
  • Reflection выделяет $10 000 кредитов Hub на лучшие проекты с Beam.

Почему это важно

Открытые веса модели масштаба 501 млрд параметров под лицензией Apache 2.0 с контекстом в 1 млн токенов, редкий вариант для тех, кто хочет держать передовую по размеру модель у себя, а не пользоваться закрытым API. Заявленная цель Beam, кодинг и агентные сценарии. Модель вышла сразу с поддержкой в трёх основных библиотеках и рецептами дообучения, что снижает порог входа. Технически интересны гибридное внимание с окном в 512 токенов и необычная схема остаточных связей.

Кому это важно

Командам, которые разворачивают большие модели на своём оборудовании, в своей инфраструктуре или облаке и хотят дообучать их под свои задачи. Инженерам по инференсу и квантизации (NVFP4, FP8, экспертный параллелизм), исследователям RL и агентных сред, а также тем, кого интересует конкурс на кредиты Hub.

Как это применить

Установите transformers версии не ниже 5.20.1 и запустите модель через pipeline text-generation или AutoModelForCausalLM; parse_response разберёт ответ на рассуждение, ответ и вызовы инструментов (для инструментов передавайте их и в parse_response). Для продакшен-запуска в посте предлагают NVFP4 на Blackwell: четыре B200 (720 ГБ), либо 8×B200, две B300 или 8×RTX Pro 6000. На более старых GPU берите FP8; пример vLLM с BF16 использует 16 GPU H200 (два узла по 8). Для ускорения подключается DFlash2 с черновой моделью reflection/dflash2-drafter-preview и num_speculative_tokens=15. Без подходящего железа можно проверить модель через Inference Providers (serverless). Лицензия Apache 2.0, цены на Inference Providers в посте не указаны.

Можно ли доверять

Пост опубликован на блоге Hugging Face совместно с командой Reflection, то есть это материал разработчиков и партнёров, а не независимая оценка. Утверждения о лучшей производительности с собственной обвязкой и о сохранении большей части качества BF16 в NVFP4 принадлежат авторам поста. Результаты бенчмарков по уровням точности предоставлены командой Reflection; независимых сравнений с другими моделями в тексте нет. Технические числа (архитектура, размеры чекпоинтов, объём памяти) приведены в самом посте и внутренне согласованы.

Риски и подводные камни

Для запуска нужна очень дорогая инфраструктура: даже в NVFP4 веса занимают ~280 ГБ, две B200 вмещают их почти без запаса под кэш и активации, а NVFP4 нативно работает только на Blackwell. Развёртывание требует памяти модели на 501 млрд параметров, хотя скорость соответствует модели на 23 млрд активных. При экспертном параллелизме число устройств должно делить число экспертов (256), а на 8 GPU H200 BF16-веса не помещаются. Модель только текстовая. В условиях конкурса не указаны срок, число победителей и то, относится ли $10 000 к каждому победителю или ко всему призовому фонду.