llama-modchip заявляет: DeepSeek-V4-Flash на 284B влезает в 64 ГБ ОЗУ без GPU

На GitHub под аккаунтом synchopate опубликован репозиторий llama-modchip: набор патчей ядер для ggml/llama.cpp, транскодеров квантизации (перепаковки весов в более компактные форматы) и рабочих утилит. Цель, запускать разреженные модели типа «смесь экспертов» (MoE) целиком в оперативной памяти на процессорах x86_64 (AVX-512 / AVX2) и ARM64 (NEON / SVE / Apple Metal). Все скорости и метрики в статье, собственные данные репозитория на собственном железе, независимой проверки в тексте нет.
Главное заявление: DeepSeek-V4-Flash (284,33 млрд параметров всего, 13,17 млрд активных на токен; 43 слоя MLA и 256 маршрутизируемых экспертов) в стандартной сборке UD-IQ1_S от Unsloth занимает 76,87 ГиБ (82,5 ГБ). Это больше, чем ~62,5 ГиБ доступной памяти на Linux-машине с 64 ГБ, и приводит к перегрузке страничного кэша или аварийному завершению по нехватке памяти (OOM). llama-modchip сокращает контрольную точку до 56,56 ГиБ (60,73 ГБ), то есть до 1,71 бита на вес. Вся модель вместе с KV-кэшем контекста 256K (57,61-58,9 ГиБ резидентной памяти, VmRSS) фиксируется в ОЗУ без подкачки. По умолчанию вычисляются все 6 маршрутизируемых экспертов на слой (Top-6), без отбрасывания.
Как достигнуто сжатие. Эмбеддинги, плотный нулевой слой, 43 общих эксперта и часть MLA-проекций остаются в Q4_K / Q5_K / F32. Проекции MLA wq_b и attn_output перекодируются в собственный тип Fractal-64 (GGML_TYPE_Q2_0, 3,75 бита на вес). Маршрутизируемые эксперты в основном переведены в IQ1_S (1,5625 бита на вес) с аналитическим подбором масштаба второго порядка (SwiGLU-H2), а чувствительные граничные слои оставлены в IQ2_XXS и IQ1_M. Эксперты за счёт этого стали меньше на 20,31 ГиБ относительно UD-IQ1_S.
Ускорение процессора. Патчи заменяют одноколоночные циклы матрично-векторного умножения при обработке промпта (prefill) на многоколоночную схему тайлинга по четырём уровням, регистры ZMM (AVX-512BW), L1D 32 КБ, L2 1 МБ и L3 64 МБ. Добавлены FlashAttention со стационарными в регистрах данными и потоковая подгрузка весов экспертов с подсказкой _MM_HINT_NTA, чтобы холодные веса не вытесняли из L3 горячие строки KV-кэша. Заявленный эффект: +77% к скорости prefill (с 25,0 до 44,36 ток/с на 16-ядерном Zen 5) и +53% к скорости генерации (decode); база для +53% в тексте не указана.
Самоспекулятивная генерация и мгновенное восстановление контекста. Маленький n-граммный драфтер размером 1,64 МБ (Stockfish-PVS v2) предлагает токены наперёд, а снимки KV-кэша в /dev/shm восстанавливаются за 13,1-32,6 мс для промптов Claude Code с 40 инструментами. Вместе с этим идёт исправление отката спекулятивных шагов для рекуррентных состояний и состояний MLA в deepseek4.
Скорости для DeepSeek-V4-Flash на Ryzen 9 9955HX (16 ядер Zen 5, 0 GPU), контекст 256K. Обработка промпта, 43,16-44,36 ток/с. Чистая генерация в режиме по умолчанию (Top-6, без потерь: косинусное сходство логитов 1,00000 с непропатченным рантаймом на той же контрольной точке), 9,06-9,95 ток/с; со спекулятивной генерацией, 11,5-14,7 ток/с. Заявленный в README диапазон 9,1-14,7 ток/с объединяет обычную и спекулятивную генерацию. Необязательные режимы меняют качество на скорость: «Sweet-Spot» (Top-5) даёт 9,68-9,87 ток/с без драфтера при сдвиге 0,0042 нат (+0,42% PPL), а «Turbo 10+» (Top-4 с упрощённым SwiGLU), 10,12-10,74 ток/с. Для непропатченной UD-IQ1_S на 64 ГБ в таблице prefill помечен как «OOM / Swap».
Помимо DeepSeek, в репозитории описаны NVIDIA Nemotron-3.5-30B-A3B в варианте Fractal-64 (14,35 ГиБ, 3,75 бита на вес; 25-60,4 ток/с на CPU), Qwen3-30B-A3B (34,80 ток/с на CPU в режиме Top-4) и Nemotron-H-8B. Есть таблицы для Zen 4/5, Apple Silicon (M4 Max), AWS Graviton3, Windows с гибридной схемой GPU+CPU.
Запуск: клонировать репозиторий и выполнить ./modchip chat; есть команды web, bench, claude (подключает Claude Code к локальному движку), eval, quantize, status. Модели Fractal-64 используют нестандартный тип тензора 40, поэтому обычные llama.cpp, Ollama и LM Studio их отвергнут с ошибкой «unknown tensor type 40», нужен лаунчер репозитория или готовый бинарник llama-server-modchip-linux-x86_64 из релиза v2.4.0.
Ключевые факты
- Набор патчей для llama.cpp уменьшает DeepSeek-V4-Flash (284,33 млрд параметров, 13,17 млрд активных) с 76,87 до 56,56 ГиБ (1,71 бита на вес), чтобы он помещался в 64 ГБ ОЗУ без GPU.
- С KV-кэшем 256K модель занимает 57,61-58,9 ГиБ резидентной памяти при доступных ~62,5 ГиБ, запас небольшой.
- Заявленные скорости на 16-ядерном Zen 5: prefill 43,16-44,36 ток/с, чистая генерация в режиме по умолчанию 9,06-9,95 ток/с, со спекулятивной генерацией до 14,7 ток/с.
- Режим по умолчанию вычисляет все 6 экспертов на слой; облегчённые режимы Top-5 и Top-4 дают чуть выше скорость ценой небольшого сдвига перплексии (для Top-5 «Sweet-Spot», +0,42% PPL).
- Все цифры, собственные замеры репозитория; нестандартный тип тензора требует лаунчера или бинарника проекта, обычные llama.cpp, Ollama и LM Studio модели не примут.
Почему это важно
Гигантские MoE-модели обычно требуют серверных видеокарт или сотен гигабайт памяти. Здесь утверждается, что 284-миллиардную модель можно запустить на одной машине с 64 ГБ ОЗУ и без GPU, причём с контекстом 256K. Идея опирается на то, что MoE-модель на каждом токене задействует лишь 13,17 млрд параметров из 284,33 млрд, поэтому узким местом становится объём и пропускная способность памяти, а не вычисления. Проект собрал это в одном месте: сверхагрессивное сжатие весов (1,71 бита на вес), оптимизацию под кэши и SIMD-инструкции процессора и спекулятивную генерацию.
Кому это важно
Тем, кто запускает модели локально на CPU-машинах с большим объёмом ОЗУ: владельцам рабочих станций на Ryzen 9 / Threadripper, Apple Silicon (в README указан M4 Max на 64 ГБ), ARM-серверов вроде AWS Graviton. Также тем, кто хочет подключить Claude Code к локальной модели: в проекте есть команда ./modchip claude и заявленное восстановление контекста за 13,1-32,6 мс. Разработчикам llama.cpp и инференс-движков будут интересны описанные приёмы тайлинга и изоляции L3.
Как это применить
Установка: git clone https://github.com/synchopate/llama-modchip.git, затем ./modchip chat. Есть также готовый бинарник для Linux x86_64 (llama-server-modchip-linux-x86_64) в релизе v2.4.0 и в репозиториях Hugging Face. Для DeepSeek-V4-Flash нужна машина с 64 ГБ ОЗУ; пример запуска сервера для Nemotron: -c 262144 -t 16 --port 8080. Готовность процессора можно проверить скриптом check_cpu_readiness.py без скачивания модели, а свои замеры, прислать через бенчмарк-команду ./modchip bench. Для Windows предусмотрен гибридный пакет GPU+CPU. Обратите внимание: файлы Fractal-64 нельзя открыть в обычных llama.cpp, Ollama и LM Studio. Про лицензию и цену в доступном тексте ничего не сказано.
Можно ли доверять
Осторожно. Это проект одного GitHub-аккаунта; имя автора и организация в тексте не названы. Все скорости, метрики качества и «проверенные» цифры, собственные замеры репозитория на собственном железе, независимого подтверждения в доступном тексте нет. Часть таблиц сплющена, а исходный текст обрезан, поэтому результаты Nemotron и остальные разделы видны не полностью. Заявленное отсутствие потерь в режиме по умолчанию измерено относительно непропатченного рантайма на той же сжатой контрольной точке (UD-IQ1_S), а не относительно исходной модели DeepSeek-V4-Flash в полной точности: как 1,71 бита на вес сказывается на качестве ответов, в тексте не показано.
Риски и подводные камни
Запас памяти минимален: 57,61-58,9 ГиБ резидентной памяти против ~62,5 ГиБ доступных на 64-гигабайтной Linux-машине, так что любые фоновые процессы могут вернуть перегрузку памяти. Заголовочный диапазон 9,1-14,7 ток/с включает спекулятивную генерацию; чистая генерация в режиме по умолчанию, 9,06-9,95 ток/с. Рекордные цифры получены на Ryzen 9 9955HX с 16 ядрами Zen 5; на другом железе результат будет иным. Облегчённые режимы Top-5 и Top-4 быстрее, но меняют качество (например, +0,42% PPL у Top-5 «Sweet-Spot»). Нестандартный тип тензора привязывает пользователя к лаунчеру и бинарнику проекта, а не к привычным инструментам.