Meta выпустила веса Muse Spark Open: 816 млрд параметров, 1 млн токенов контекста

Meta выложила веса Muse Spark Open. В блоге research.meta.ai модель названа самой мощной открытой моделью США на сегодня (это самооценка авторов, способ сравнения не раскрыт). Это нативно мультимодальная модель: 816 млрд параметров в сумме, 42 млрд из них активны, окно контекста, 1 млн токенов. По словам авторов, она создана для программирования и агентных задач и сильна в долгих задачах, сложной разработке ПО и многошаговых рассуждениях.

Главный акцент, запуск дома. Авторы заявляют, что это первая модель своего класса, которая работает на настольном компьютере: для этого нужны два Apple Mac Studio с чипом M5 Ultra и свежая версия фреймворка MLX. Объяснение такое: унифицированная память позволяет встроенному GPU M5 Ultra использовать до 512 ГБ на каждый Mac Studio, поэтому двух машин хватает, чтобы вместить всю модель, а пропускной способности памяти чипа в 1,2 ТБ/с достаточно, чтобы считывать небольшую часть весов, нужную для каждого токена. По описанию авторов, два Mac Studio ведут себя как один суперкомпьютер с терабайтом унифицированной памяти.

Модель можно получить так: через API у Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI; веса доступны для скачивания на Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face и Microsoft Foundry Models. Она работает на SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp и Unsloth с оптимизациями под кремний AMD, Apple, Intel и NVIDIA. Дообучать модель предлагается на PyTorch, в частности через TorchTitan. На Apple-чипах MLX подтягивает веса прямо с Hugging Face.

Авторы проверили агентные сценарии, целиком работающие на устройстве, с инструментом Muse Code на базе Muse Spark Open. Модель вносила реальные правки в iOS-версию Ice Cubes (открытый клиент Mastodon): исправляла ошибки, добавляла функции и собирала проект целиком. Ещё она управляла DaVinci Resolve от начала до конца: просматривала видео покадрово, находила самые сильные моменты и кадрировала их вертикально.

Открытая версия поставляется с настраиваемыми под железо ядрами Helion для GPU в SGLang: ускорение на уровне ядер составляет от 1,03 до 3,95 раза на GPU NVIDIA и AMD, а сквозное ускорение на AMD MI350, 3%.

По безопасности авторы пишут, что из-за открытости весов провели дополнительное пост-обучение. Модель оценивали по внутренней Meta Superintelligence Scaling Framework, охватывающей самые тяжёлые риски, и, по их словам, она прошла требуемые для выпуска пороги. Подробные результаты, в карточке модели, полный отчёт об оценке обещан позже. Лицензия, Muse Model License с ограниченными коммерческими условиями, которые, как сказано, позволяют многим разработчикам пользоваться моделью бесплатно.

Ключевые факты

Muse Spark Open: нативно мультимодальная модель, 816 млрд параметров всего (42 млрд активных), контекст 1 млн токенов, заточена под программирование и агентную работу.
Запуск на настольном компьютере: по заявлению авторов, возможен на двух Apple Mac Studio с M5 Ultra и MLX; каждый Mac Studio отдаёт GPU до 512 ГБ памяти.
Доступна через API у Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI; веса есть на Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden и Microsoft Foundry Models.
Лицензия Muse Model License с ограниченными коммерческими условиями: многие разработчики могут пользоваться бесплатно. Полный отчёт об оценке безопасности обещан позже.
Ядра Helion в SGLang дают ускорение на уровне ядер от 1,03 до 3,95 раза на GPU NVIDIA и AMD и 3% сквозного ускорения на AMD MI350.

Почему это важно

Meta открывает веса крупной мультимодальной модели с контекстом в 1 млн токенов и заявляет, что её можно запустить на двух настольных компьютерах Apple, а не только в дата-центре. Для сообщества, которое работает с открытыми моделями, это возможность гонять мощную агентную модель локально. Оценки «самая мощная открытая модель США» и «первая в своём классе на настольном компьютере» принадлежат самим авторам.

Кому это важно

Разработчикам, которые строят агентов и инструменты для программирования, командам, которым нужно держать модель на своём железе, и владельцам Mac Studio с M5 Ultra. Также тем, кто хочет дообучать модель на PyTorch (TorchTitan) или запускать её через SGLang, vLLM, llama.cpp и другие движки. Провайдерам инференса интересна поддержка на AMD, Intel и NVIDIA.

Как это применить

Можно взять модель через API у перечисленных платформ либо скачать веса, например с Hugging Face. Для Apple-кремния авторы советуют MLX: он подтягивает веса прямо с Hugging Face, для локального запуска нужны два Mac Studio с M5 Ultra. Для дообучения предлагается TorchTitan из PyTorch. Лицензия, Muse Model License с ограниченными коммерческими условиями; конкретные условия в тексте не раскрыты, их нужно читать в самой лицензии.

Можно ли доверять

Материал, официальный анонс от самих авторов модели, написанный от первого лица. Все оценки («самая мощная», «первая в классе»), их собственные, способ сравнения не раскрыт. Раздел «Key Benchmarks» в тексте не содержит цифр, поэтому результаты тестов здесь не подтверждены. Показатели скорости на двух Mac Studio и точность (квантование), с которой модель туда помещается, не приведены. Независимых проверок в тексте нет, полный отчёт об оценке обещан позже.

Риски и подводные камни

Для запуска дома нужны два дорогих компьютера с большим объёмом памяти; цены и скорость генерации в источнике не названы. Лицензия не полностью свободная: коммерческие условия ограничены. Авторы признают, что открытые веса несут собственные риски, и добавили пост-обучение по безопасности, но полный отчёт об оценке ещё не опубликован. Ускорения Helion на отдельных ядрах (1,03-3,95 раза) не равны ускорению всей работы: на AMD MI350 сквозной прирост составил 3%.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.