TurboFieldfare: движок с открытым кодом запускает Gemma 4 26B на Mac с 8 ГБ памяти

Независимый iOS- и Metal-инженер Андрей Михайлов выложил на GitHub проект TurboFieldfare, движок с открытым кодом (лицензия Apache 2.0) на Swift и Metal, который запускает инструкционную версию модели Gemma 4 26B-A4B на любом Mac с процессором Apple Silicon, включая базовые 8-гигабайтные модели. Пост на Hacker News набрал 707 баллов и 248 комментариев.

Модель весит на диске около 14,3 ГБ, и обычная загрузка чекпоинта в память заняла бы столько же оперативной памяти. TurboFieldfare обходит это ограничение: в памяти постоянно держится только общее ядро модели (1,35 ГБ) и KV-кэш в формате FP16, а нужные для конкретного токена «эксперты» (маршрутизируемые блоки архитектуры Mixture-of-Experts) подгружаются с SSD по требованию. Из-за этого бюджет оперативной памяти во время генерации держится в районе 2 ГБ. Автор описывает идею так: «Память подорожала. Поэтому я выделил 26-миллиардной модели бюджет примерно в 2 гигабайта».

Технически: веса эмбеддингов, внимания, общего и маршрутизируемых экспертов квантованы в 4 бита (формат MLX affine), маршрутизатор, в 8 бит. Собственные ядра Metal считают квантованный GEMV, внимание, MoE-маршрутизацию, нормализацию, RoPE и сэмплирование. KV-кэш хранится в FP16: 25 слоёв со скользящим окном используют ограниченное циклическое хранилище, ещё 5 слоёв с полным вниманием, линейное. Предзаполнение (prefill) промпта идёт чанками до 128 токенов, чтобы один подгруженный эксперт обслуживал сразу несколько строк.

Проект предоставляет три способа использования: нативное Mac-приложение (SwiftUI/AppKit) с собственным сервисом декодирования, интерфейс командной строки и экспериментальный локальный сервер, совместимый с OpenAI Chat Completions API (слушает 127.0.0.1:8080/v1, поддерживает стриминг и вызов функций, но не имеет аутентификации и TLS, рассчитан только на локальное использование). Модель работает только с текстом, без изображений, звука и видео; приложение и CLI не выполняют инструменты сами, а сервер лишь возвращает вызовы инструментов клиенту, который обязан сам их авторизовать и выполнить.

Требования: Mac на Apple Silicon, macOS 26 с Metal 4, Xcode 26 и Swift 6.2 или новее, около 15 ГБ свободного места на диске под установку модели (итоговый размер, 14,3 ГБ) и интернет для первой загрузки. Пакет собирается только под arm64, старые версии macOS и Metal не поддерживаются. Веса модели проект не включает, инсталлятор скачивает их отдельно с закреплённой ревизии Hugging Face, и они подчиняются условиям лицензии самого Google, а не проекта; TurboFieldfare не аффилирован с Google.

Свои выводы автор подкрепляет 103 задокументированными экспериментами по ядрам, кэшированию, вводу-выводу, prefill и decode, с описанием как удачных решений, так и идей, которые не сработали или были опровергнуты при более строгой проверке. Автор подчёркивает, что измеренные цифры, ориентир, а не потолок производительности: результат зависит от длины промпта, длины генерации, состояния page cache и конкретного железа. В планах, сборка приложений для iPhone и iPad с измерением скорости на мобильном железе, а также больше бенчмарков на других Mac с 8 и 16 ГБ памяти, в частности на базовом M4 Mac mini.

Ключевые факты

Разработчик Андрей Михайлов опубликовал TurboFieldfare, открытый движок на Swift и Metal для запуска Gemma 4 26B-A4B на Mac с Apple Silicon.
Модель весит на диске 14,3 ГБ, но благодаря потоковой подгрузке экспертов с SSD работает при бюджете памяти около 2 ГБ, хватает Mac с 8 ГБ RAM, пример, M2 MacBook Air.
В основе, 103 задокументированных эксперимента по ядрам, кэшированию, вводу-выводу, prefill и decode.
Доступны нативное Mac-приложение, CLI и экспериментальный OpenAI-совместимый сервер на 127.0.0.1:8080/v1 без аутентификации и TLS.
Код лицензирован Apache 2.0 и требует macOS 26 и Metal 4; веса модели скачиваются отдельно с Hugging Face и не входят в лицензию проекта.

Почему это важно

Большие языковые модели обычно требуют памяти, сравнимой с размером чекпоинта на диске: для 26-миллиардной модели это были бы десятки гигабайт RAM. TurboFieldfare показывает, что за счёт потоковой подгрузки MoE-экспертов с SSD этот порог можно обойти и уместить сравнимую по размеру модель в бюджет около 2 ГБ, то есть запустить на массовом 8-гигабайтном Mac, а не только на топовых конфигурациях с десятками гигабайт памяти.

Кому это важно

Разработчикам и энтузиастам локального ИИ на Mac без топовых конфигураций с большим объёмом памяти; инженерам, изучающим инференс MoE-моделей и квантование весов; всем, кто хочет запускать модель офлайн без облачных API и подписок.

Как это применить

Проект открытый (Apache 2.0 на код), доступен на GitHub: клонировать репозиторий, собрать Swift-пакет командой swift build -c release и запустить Mac-приложение, CLI или локальный OpenAI-совместимый сервер на 127.0.0.1:8080/v1. Нужен Mac на Apple Silicon с macOS 26, Metal 4, Xcode 26 и Swift 6.2+, около 15 ГБ на диске под модель (итоговый размер, 14,3 ГБ) и интернет для первой загрузки весов с Hugging Face. Веса модели не входят в лицензию кода и подчиняются условиям Google и Hugging Face.

Можно ли доверять

Это независимый проект одного инженера, Андрея Михайлова, iOS- и Metal-разработчика, без официальной связи с Google. В его пользу, 103 задокументированных эксперимента с описанием и удачных, и провалившихся идей, проверка манифеста и хешей файлов при установке, а также честная оговорка автора: измеренные цифры, ориентир, а не гарантированный потолок производительности, результаты зависят от конкретного железа и промпта.

Риски и подводные камни

Пакет собирается только под arm64 и требует свежую macOS 26 и Metal 4, на старом железе и системах не заработает. Встроенный OpenAI-совместимый сервер не имеет аутентификации и TLS и годится только для локального использования на loopback-адресе. Модель принимает только текст, без изображений, звука и видео, может повторяться или давать неверные ответы, а мобильные версии для iPhone и iPad пока не реализованы, это в планах.

«Память подорожала. Поэтому я выделил 26-миллиардной модели бюджет примерно в 2 гигабайта.»

— Андрей Михайлов, автор TurboFieldfare