ИИтог

Apple показала, как запустить Muse Spark Open (816B) на четырёх Mac Studio

инфраструктураРедакция ИИтогHacker News🔥78Рейтинг ИИтог78Влияние70Новизна70Релевантность100Неожиданность60Участники70Достоверность85
Apple показала, как запустить Muse Spark Open (816B) на четырёх Mac Studio

Исследовательская команда Apple по машинному обучению опубликовала на своём сайте разбор того, как запускать крупные языковые модели локально на Mac Studio с помощью открытого фреймворка MLX. Поводом стал выход новой версии MLX в день публикации и недавно вышедшая открытая модель Muse Spark Open: 816 млрд параметров, архитектура mixture of experts (смесь экспертов), в каждый момент активна только часть экспертов. Главный результат: на кластере из четырёх Mac Studio модель выдаёт больше 36 токенов в секунду, что Apple называет заметно выше средней скорости чтения человека. Размер контекста и поколение чипа в этой фразе не уточнены.

Apple сравнила два поколения Mac Studio, новое с M5 Ultra и прежнее с M3 Ultra, на трёх моделях: Muse Spark Open (816B, NVFP4), Mistral Medium 3.5 (128B, плотная, FP8) и Qwen 3.8 (27B, плотная, BF16). Измерялись время до первого токена (TTFT), скорость генерации в токенах в секунду и пиковое энергопотребление при контекстах 8 192 и 65 536 токенов. Все цифры получены командой mlx_lm.benchmark.

На одной машине (до 512 ГБ единой памяти) свободно помещаются Qwen 3.8 27B и Mistral Medium 3.5 128B: при контексте 65 536 токенов они занимают до 68 и 158 ГБ ОЗУ соответственно. TTFT упирается в вычисления, и тут помогают нейронные ускорители GPU в M5 Ultra: ускорение до 4,6 раза по сравнению с M3 Ultra. Скорость генерации упирается в пропускную способность памяти: у M5 Ultra она 1,2 ТБ/с против 819 ГБ/с у M3 Ultra, и генерация быстрее в 1,6 раза. Пиковое энергопотребление около 200 Вт у Mac Studio с M3 Ultra и 300 Вт у модели с M5 Ultra. Apple сравнивает это с долей мощности обычного тостера и пишет, что такую машину можно держать для ИИ-задач в любом доме или офисе.

Muse Spark Open на одну машину не помещается: в родной точности BF16 одни параметры потребовали бы больше 1,6 ТБ ОЗУ, а в 4-битном формате NVFP4 модель занимает около 493 ГБ ещё до промежуточных вычислений. Поэтому её распределяют по нескольким Mac Studio. Это опирается на драйвер RDMA поверх Thunderbolt 5, появившийся в macOS 26.2, и на MLX версии 0.30.1 и новее, где добавлены коллективные операции jaccl. Компьютеры соединяют двумя кабелями Thunderbolt на каждую пару, чтобы удвоить пропускную способность, а задачи запускает вспомогательная команда mlx.launch.

Первая схема, конвейерная параллелизация: одна машина считает первую половину слоёв, вторая, вторую. Она проста в реализации. Скорость генерации почти как на одной машине, зато при контексте 65 536 токенов обработка запроса (prefill) быстрее до примерно 1,8 раза, потому что MLX делит длинный контекст на куски по 8 192 токена и пускает их по машинам с перекрытием во времени. Вторая схема, тензорная параллелизация: каждый слой делится между машинами. Она сложнее и требует множества мелких обменов данными, поэтому без очень низкой задержки, как у Thunderbolt RDMA с jaccl, ускорения не даёт. Плотные модели масштабируются по машинам лучше, чем MoE. На двух машинах при контексте 65 536 токенов тензорная схема для Muse Spark Open отстаёт от конвейерной на prefill (из-за отдельной нормализации выходов экспертов), но с четырьмя M5 Ultra окупается; на генерацию это не влияет. Второй кабель на связь тоже помогает: на четырёх M5 Ultra при контексте 65 536 токенов TTFT для Muse Spark Open снизился с примерно 50,5 с (один кабель) до 40,6 с (два кабеля).

В конце статьи показано, как поднять локальный сервер: mlx.launch вместе с mlx_lm.server запускает Muse Spark Open на порту 8080, а агентный инструмент OpenCode настраивается на этот сервер конфигурацией с адресом http://127.0.0.1:8080/v1. По словам Apple, так же можно подключать и другие локальные агентные сценарии. В заключении команда подводит итог года работы над MLX: поддержка нейронных ускорителей M5, быстрая связь между Mac через RDMA по Thunderbolt и эффективные реализации архитектур вроде MoE.

Ключевые факты

  • На кластере из четырёх Mac Studio Muse Spark Open (816B, MoE, NVFP4) генерирует больше 36 токенов в секунду; размер контекста в этой фразе не указан.
  • В NVFP4 модель занимает около 493 ГБ, в родном BF16 нужно больше 1,6 ТБ ОЗУ, а в одном Mac Studio, до 512 ГБ, так что без нескольких машин не обойтись.
  • Машины соединяются через RDMA по Thunderbolt 5 (macOS 26.2, MLX 0.30.1 и новее, коллективные операции jaccl); на четырёх M5 Ultra при контексте 65 536 токенов второй кабель на связь снижает TTFT с около 50,5 до 40,6 с.
  • M5 Ultra против M3 Ultra: TTFT до 4,6 раза быстрее, генерация в 1,6 раза быстрее, пропускная способность памяти 1,2 ТБ/с против 819 ГБ/с, пиковая мощность около 300 Вт против 200 Вт.
  • Локальный сервер mlx_lm.server можно запустить на кластере и подключить к нему агентный инструмент OpenCode.

Почему это важно

Модель масштаба почти триллиона параметров обычно связывают с серверными GPU, а Apple показывает сценарий на настольных машинах: четыре Mac Studio выдают скорость выше средней скорости чтения человека. Для локального запуска это заметный шаг, а ключевой технической новинкой названа связь RDMA с низкой задержкой по Thunderbolt 5 в сочетании с MLX: без неё тензорная параллелизация не даёт ускорения. Отдельно показано, что нейронные ускорители M5 Ultra сильно ускоряют обработку длинного контекста, нужного агентным программам для кодинга.

Кому это важно

Исследователям и разработчикам, которые хотят гонять большие открытые модели у себя, а не в облаке, в частной среде. Тем, кто выбирает железо для локальных агентов и работы с длинным контекстом: из статьи видно, что TTFT определяется вычислениями (выигрывает M5 Ultra), а скорость генерации, пропускной способностью памяти. Также тем, кто следит за развитием MLX и распределённого вывода на Mac.

Как это применить

Статья даёт готовые команды. Бенчмарк запускается так: mlx_lm.benchmark с параметрами модели, контекста и числа генерируемых токенов. Для нескольких машин нужны macOS 26.2 и MLX 0.30.1 или новее, соединение Thunderbolt (в тестах, по два кабеля на пару машин в полной сетке) и файл hostfile.json; запуск идёт через mlx.launch с бэкендом jaccl и переменной MLX_METAL_FAST_SYNCH=1 (экспериментальная быстрая синхронизация CPU и GPU). Для агентного сценария поднимается mlx_lm.server на порту 8080, а в OpenCode указывается локальный адрес сервера. Цены на Mac Studio M5 Ultra и на кластер из четырёх машин в тексте не названы.

Можно ли доверять

Это материал самой Apple о её собственном фреймворке и железе, цифры получены её же командой mlx_lm.benchmark, и независимой проверки в тексте нет. Главная цифра, больше 36 токенов в секунду, дана без уточнения контекста и чипа; точные значения вынесены в таблицы и рисунки, которых в тексте нет. Сравнение с серверным GPU-выводом или облаком для Muse Spark Open не приводится. Формулировки вроде «настольный выбор для больших контекстов» и «доля мощности тостера», оценки самой Apple.

Риски и подводные камни

Для Muse Spark Open нужен именно кластер: одна машина с 512 ГБ модель в NVFP4 не вместит с учётом промежуточных вычислений. Выигрыш зависит от связи: тензорная параллелизация без очень низкой задержки Thunderbolt RDMA не ускоряет, а на двух машинах при контексте 65 536 токенов отстаёт от конвейерной на prefill. Плотные модели масштабируются по машинам лучше, чем MoE. Флаг MLX_METAL_FAST_SYNCH=1 назван экспериментальным. Модель оценена в NVFP4, то есть в 4-битном квантовании, а не в родной точности.