Huawei опубликовала MACaQ: квантизатор нейросетей для локального запуска

Huawei опубликовала MACaQ: квантизатор нейросетей для локального запуска

В GitHub-репозитории huawei-csl/MACaQ опубликован MACaQ: инструмент квантизации (сжатия весов и активаций), который не привязан к конкретной архитектуре. Он готовит сжатые чекпоинты, в том числе файлы GGUF, для текстовых, графических, видео- и аудиомоделей. Модели можно запускать через llama.cpp, vLLM, Diffusers и PyTorch. К проекту приложена научная статья на arXiv (2611.10649) «MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations»; авторы: Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang, Jiawei Zhuang и Lukas Cavigelli. Принадлежность к Huawei в тексте README прямо не заявлена и следует из названия организации на GitHub и из упоминаний CANN и Ascend.

Заявленные в README возможности: MACaQ может проквантизовать модель на 122 млрд параметров за 64 минуты, затратив 32,5 ГБ памяти устройства (на каком оборудовании, не уточняется). По утверждению README, можно получить перплексию ниже, чем у MR-GPTQ и DuQuant++, либо сравняться с их лучшим результатом на Llama-3-8B при времени квантизации в 11 раз меньше.

Поддерживаются четыре бэкенда. Diffusers: генерация изображений, видео и звука в режиме W4A4 (для image-to-video при калибровке используются исходные изображения). llama.cpp: генерация текста, форматы GGUF на 2, 3 и 4 бита; поддерживается и выполнение на CPU. vLLM: генерация текста и сервинг, W4A4 или только веса; W4A4 используется по умолчанию. PyTorch: генерация речи в W4A4, сохранённые чекпоинты загружаются без повторной калибровки. Для каждого бэкенда нужен Python 3.12 и отдельное окружение.

Отдельная ветка проекта называется MACaQ-R. Она уточняет коды весов в уже квантизованном GGUF, сохраняя его родные форматы и масштабы блоков, так что результат запускается на обычной установке llama.cpp. Для этого нужны квантизованный GGUF, исходная модель, учитель в формате f16 и калибровочный текст; команда refine приведена в README. Для примера выложена модель Qwen3.6-35B-A3B MACaQ-R в формате GGUF на Hugging Face, а в README есть сравнения по KL-дивергенции к FP16: для Qwen3.6-35B-A3B и для опубликованных GGUF-версий Qwen3-4B (по размеру файла и KL-дивергенции). Для Qwen3.8-27B приведены качество и скорость в vLLM относительно исходной BF16.

Для оборудования Huawei Ascend ядра матричного умножения W4A4 (плотные и групповые) доступны в двух pull request в репозиториях CANN: ops-nn #12568 (ядра PTO-ISA через ascend_ops_nn) и ops-tilelang #44 (ядра TileLang с бэкендом CCE). Для выполнения модели целиком нужна интеграция с инференс-средой Ascend. Лицензия проекта, Apache 2.0, сторонние компоненты сохраняют свои лицензии. README также просит поставить репозиторию звезду тех, кто квантизовал модель с помощью MACaQ.

Ключевые факты

  • MACaQ, открытый (Apache 2.0) квантизатор из репозитория huawei-csl: сжимает модели текста, изображений, видео и звука; работает с llama.cpp, vLLM, Diffusers и PyTorch.
  • По README, модель на 122 млрд параметров квантизуется за 64 минуты при 32,5 ГБ памяти устройства; оборудование для замера не указано.
  • Заявлено: перплексия ниже, чем у MR-GPTQ и DuQuant++, либо та же лучшая перплексия на Llama-3-8B при времени квантизации в 11 раз меньше.
  • Для llama.cpp поддерживаются GGUF на 2, 3 и 4 бита; MACaQ-R дорабатывает готовые GGUF, сохраняя форматы; есть пример Qwen3.6-35B-A3B на Hugging Face.
  • Ядра W4A4 для Huawei Ascend пока оформлены как pull request в CANN (ops-nn #12568, ops-tilelang #44); полный запуск требует среды инференса Ascend.

Почему это важно

Квантизация (хранение весов и активаций в малом числе бит) позволяет запускать большие модели локально, на скромном железе. MACaQ претендует на то, чтобы делать это быстро и для разных типов моделей сразу: не только для текста, но и для диффузионных моделей изображений, видео и звука, а также для генерации речи. Заявленные 64 минуты на модель в 122 млрд параметров и 11-кратная экономия времени квантизации при равной перплексии на Llama-3-8B, сильные утверждения, если они подтвердятся независимыми замерами. Заметно и то, что часть работы привязана к стеку Huawei (ядра для Ascend в CANN).

Кому это важно

Тем, кто запускает модели локально через llama.cpp (включая CPU) и хочет более качественные низкобитные GGUF. Тем, кто разворачивает сервис на vLLM и готов к режиму W4A4. Исследователям квантизации, которым нужны сравнение с MR-GPTQ и DuQuant++ и открытый код к статье arXiv 2611.10649. Командам на оборудовании Huawei Ascend, для которых опубликованы ядра W4A4.

Как это применить

Проект открыт под лицензией Apache 2.0. Для каждого бэкенда (Diffusers, llama.cpp, vLLM, PyTorch) предусмотрена отдельная инструкция по установке, квантизации и запуску; нужен Python 3.12 и отдельное окружение под каждый бэкенд. Для текста в llama.cpp можно квантизовать модель в GGUF на 2, 3 или 4 бита либо взять готовый пример MACaQ-R для Qwen3.6-35B-A3B с Hugging Face и запустить его обычной установкой llama.cpp. Для доработки собственного GGUF командой refine нужны квантизованный GGUF, исходная модель, учитель в f16 и калибровочный текстовый файл. Ядра для Ascend пока доступны через pull request в CANN, а для работы модели целиком нужна интеграция с инференс-средой Ascend.

Можно ли доверять

Главные цифры (122 млрд параметров за 64 минуты и 32,5 ГБ, превосходство над MR-GPTQ и DuQuant++, 11-кратная экономия времени) взяты из README самого проекта и подкреплены статьёй авторов; независимых проверок в материале нет. Оборудование, на котором получено время и объём памяти, не указано, а сравнение идёт только с MR-GPTQ и DuQuant++, но не с другими решениями. Принадлежность проекта Huawei в тексте прямо не заявлена: она следует из названия организации на GitHub и упоминаний CANN и Ascend. Аффилиации авторов статьи в README не указаны.

Риски и подводные камни

Это заявления разработчиков, а не независимый бенчмарк: перед внедрением результаты стоит перепроверить на своих моделях и задачах. Режим W4A4 для vLLM по умолчанию снижает точность и активаций, и весов, поэтому качество нужно проверять отдельно. Для каждого бэкенда нужно своё окружение на Python 3.12, что усложняет настройку. Ядра для Ascend пока оформлены как pull request, а запуск целой модели на этом оборудовании требует интеграции со средой инференса Ascend. Для сторонних компонентов действуют их собственные лицензии.