smolmaxxing: патч llama.cpp запускает модели 8B и 16B на устройствах с ~1 ГБ ОЗУ

В репозитории smolmaxxing опубликован патч для llama.cpp. Его цель, по описанию в README, запустить самую большую языковую модель на самом маленьком оборудовании, которое у вас есть: ТВ-приставках, старых планшетах, одноплатных компьютерах и роутерах. У таких устройств большую часть суток простаивают процессор, оперативная память и флеш-накопитель. Проект подбирает для каждого устройства самую большую модель, которую оно реально способно запустить, а затем «дожимает» результат с помощью специальных ядер (kernels), экономного обращения с памятью и весов, которые подгружаются с флеш-накопителя.
Главное заявление README: на двух устройствах работают смешанные модели экспертов (mixture-of-experts, MoE) на 8 и 16 млрд параметров при примерно 1 ГБ оперативной памяти. Это возможно потому, что в памяти держат лишь часть каждой модели, а остальное читают с флеш-накопителя по мере необходимости. Авторы подчёркивают, что каждая цифра в репозитории измерена на самом устройстве.
Основные идеи, как их описывает README:
- Ядра под конкретный чип. 1-битное ядро на таблицах поиска (lookup table), перепакованные 2-битные и тернарные форматы для Cortex-A55 и их версии для A7, у которого нет инструкций скалярного произведения (dot-product).
- Меньше памяти на модель. Большая часть словаря маленькой модели используется редко, поэтому проект отбрасывает соответствующие строки выходного слоя. На ТВ-приставке «безголовый» (headless) режим дополнительно останавливает лаунчер и сервисы Google на время работы модели.
- Эксперты, подгружаемые с флеш-накопителя. MoE-модель на каждый токен использует лишь несколько экспертов. Популярные эксперты хранятся в ОЗУ, остальные читаются с флеш-накопителя по требованию, а эксперты следующего слоя подгружаются заранее. Именно так 8B- и 16B-модели помещаются в 1 ГБ.
- Потоковая подгрузка для плотных (dense) моделей, которые больше оперативной памяти, на полной скорости флеш-накопителя.
Авторы утверждают, что приёмы не привязаны к одной приставке: 1-битному ядру достаточно базового NEON, а потоковая подгрузка с флеш-накопителя работает на любом устройстве с Linux или Android, где модель больше памяти. Позже обещают добавить телефоны, одноплатные компьютеры и роутеры. Подробности каждой техники с измеренным выигрышем вынесены в docs/how-it-works.md.
Быстрее всего начать с готового файла модели с Hugging Face, но такие файлы требуют патченного llama.cpp: обычный llama.cpp их не загрузит. В README есть инструкции для ТВ-приставки или другого Android-устройства на ARMv8.2 и для iPad с джейлбрейком на iOS 12, а также список всех файлов моделей и способ их пересборки. Код распространяется по лицензии MIT; патчи, производные от llama.cpp (MIT), веса моделей сохраняют собственные лицензии, а оценочные тексты, фрагменты Википедии (CC BY-SA 4.0). Проект опирается на llama.cpp и llama2.c, в README благодарности моделям и файлам GGUF от Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher и Google (Gemma).
Ключевые факты
- smolmaxxing, патч для llama.cpp, нацеленный на запуск самой крупной возможной модели на ТВ-приставках, старых планшетах, одноплатных компьютерах и роутерах.
- По README, на двух устройствах работают MoE-модели на 8 и 16 млрд параметров при примерно 1 ГБ ОЗУ: в памяти держат часть модели, остальное читают с флеш-накопителя.
- Приёмы: 1-битное ядро и перепакованные 2-битные и тернарные форматы для Cortex-A55 и A7, отбрасывание редко используемых строк словаря, подгрузка экспертов с флеш-накопителя с упреждающим чтением следующего слоя.
- Готовые файлы моделей на Hugging Face работают только с патченным llama.cpp; код под лицензией MIT, веса сохраняют свои лицензии.
- Авторы говорят, что все числа в репозитории измерены на самих устройствах; в тексте README нет цифр скорости генерации.
Почему это важно
Запуск моделей на 8 и 16 млрд параметров на устройствах с примерно 1 ГБ памяти, это заявка на использование оборудования, которое обычно считают непригодным для нейросетей. Ключевая идея, не вся модель в ОЗУ, а только популярные эксперты MoE-модели, остальное подгружается с флеш-накопителя. Авторы утверждают, что потоковая подгрузка работает на любом Linux- или Android-устройстве, где модель больше памяти.
Кому это важно
Энтузиастам локального запуска нейросетей, разработчикам встраиваемых систем и всем, у кого есть старые приставки, планшеты или одноплатные компьютеры. Интересно и тем, кто занимается квантизацией и ядрами под ARM: в README описаны решения для Cortex-A55 и A7 без инструкций dot-product.
Как это применить
Проще всего взять готовый файл модели с Hugging Face и запустить его в патченном llama.cpp; стандартная сборка llama.cpp такие файлы не загрузит. Для ТВ-приставки или другого Android-устройства на ARMv8.2 есть docs/tv-box-setup.md, для iPad с джейлбрейком на iOS 12, ipad-air/README.md, список моделей и способ их пересборки, в docs/models.md. Сам проект распространяется по лицензии MIT, а веса моделей идут со своими лицензиями, их стоит проверить отдельно.
Можно ли доверять
Это README репозитория, а не независимое исследование: ключевые утверждения исходят от самих авторов, которые пишут, что все числа измерены на устройствах. В тексте не названы ни авторы, ни организация за проектом. В README также нет данных о скорости генерации, о точности и о сравнении с обычным llama.cpp или другими средами запуска, так что практическую пользу придётся проверять самостоятельно. Подробные измерения упомянуты в docs/how-it-works.md.
Риски и подводные камни
Нужен именно патченный llama.cpp, поэтому готовые модели не заработают в стандартной сборке. В README не сказано, насколько медленнее потоковая подгрузка с флеш-накопителя по сравнению с работой из ОЗУ. На ТВ-приставке «безголовый» режим останавливает лаунчер и сервисы Google на время работы модели. Другие устройства (телефоны, одноплатные компьютеры, роутеры) пока только обещаны. Проверяйте лицензии весов моделей отдельно от лицензии кода.
«Каждое число в этом репозитории измерено на самом устройстве.»
— README репозитория smolmaxxing