LookAtMyQuant сжала Inkling-2-Mini до файла в 5,4 ГБ для Apple Silicon

LookAtMyQuant сжала Inkling-2-Mini до файла в 5,4 ГБ для Apple Silicon

LookAtMyQuant, компилятор квантизации (сжатия весов модели) под лицензией MIT. Он измеряет, насколько сильно каждый сохранённый фрагмент модели портит выход при сжатии, а затем подбирает для каждого фрагмента код так, чтобы вся модель уложилась в заданный размер с минимальным ущербом. На Gemma 4 E2B GGUF-файл, собранный этим методом, по заявлению README, имеет в 12 раз меньшее KL-расхождение (мера отклонения от исходной модели), чем Q4_K_M при том же размере файла.

Главный результат, вынесенный в заголовок обсуждения, Inkling-2-Mini (thinkingmachines/Inkling-2-Mini). Это MoE-модель (смесь экспертов) с 26,4 млрд физических и 5,4 млрд активных параметров, с трёхкратным циклическим прогоном слоёв (128 экспертов, top-8). Компилятор вместе с полным дообучением MoE (SQYFR) сжимает её текстовые веса с 18,89 ГБ до четырёх сборок для Apple Silicon (MLX): 5,38 ГБ (1,65 бита на вес), 8,87 ГБ (2,72), 11,18 ГБ (3,43) и 12,76 ГБ (3,92). Блок зрения остаётся нетронутым, в BF16 (637 МБ). Важно: «5,4» в заголовке, размер файла весов (5,38 ГБ), а не общий расход памяти при работе: у этой сборки активная память составляет 5,98 ГБ.

Качество авторы оценивали на той же BF16-модели-учителе без усечения ответов (max_new_tokens = 1 536, жадное декодирование, reasoning_effort="none"): GSM8K (первые 200 задач тестовой части), все 164 исполняемые задачи HumanEval, 4 теста Vision VQA и текстовые окна на 16+13 языках. Сборка на 12,76 ГБ совпадает с исходным BF16-учителем на 100,0% по всем тестам (349 из 349 в сумме) при 32,5% меньшем объёме текстовых весов. Сборки на 11,18 и 8,87 ГБ сохраняют 99,2-99,3% по среднему от трёх задач (345 из 349, или 98,9% в сумме). При этом 8,87 ГБ снижает KL в 2,34 раза на английском, диалогах и коде (0,0208 против 0,0486) и на 29,6% по всем 13 языкам (0,0571 против 0,0811) относительно GGUF UD-Q2_K_XL от Unsloth размером 9,14 ГБ. Самая маленькая сборка, 5,38 ГБ, даёт 88,0% на GSM8K и 70,7% на HumanEval (при строгом чтении <|content_text|>, 105 из 164, то есть 64,0%) и, по словам авторов, обходит GGUF UD-IQ1_S (7,76 ГБ) и UD-Q2_K_XL (9,14 ГБ) при одинаковой схеме с 384 токенами.

Скорость на Apple M5 Max (с 4-битными черновыми моделями DSpark по 178,9 МБ для спекулятивного декодирования без потери точности). Сборка 12,8 ГБ: 2 016 ток/с на разборе промпта (prefill), 60,5 ток/с последовательно и 112,7 ток/с медианно с черновиком; активная память 12,72 ГБ. Сборка 11,2 ГБ: 2 032 ток/с prefill, 62,4 ток/с последовательно, 103,7 медианно. Сборка 8,9 ГБ: 63,5 последовательно и 106,0 медианно. Сборка 5,4 ГБ: 1 807 ток/с prefill, 75,3 ток/с последовательно и 124,4 ток/с медианно (142,9 на математике, 126,5 на рассуждениях, 122,2 на коде), активная память 5,98 ГБ. Все четыре сборки работают через lamq и runtime_mlx на единых Metal-ядрах.

В README есть и другие результаты. Qwen3.5-4B сжата до 1,23 ГБ (2,3 бита на вес): файл решает 330 из 540 математических задач с точным ответом, против 328 у Bonsai 2 Ternary 4B от Prism ML (1,20 ГБ) и 359 у оригинала; рецепт обошёлся примерно в $34 GPU-времени. Qwen3.8-27B сжата с 53,7 до 7,2 ГБ (2,1 бита на вес): 401 из 540 задач, как у оригинала, против 348 у GGUF UD-IQ2_XXS от Unsloth того же размера; также выше по HumanEval (73,8% против 67,1%), MMLU (78,8% против 75,0%) и GSM8K (94,5% против 92,7%). Для неё есть 4-битный черновик DSpine на 1,02 ГБ, примерно вдвое ускоряющий декодирование математики и кода на Apple Silicon.

Дальше в README, установка (pip install из репозитория, команды lamq generate и lamq chat, интеграция через runtime_mlx.load и Runtime) и пошаговое воспроизведение пайплайна на небольшой SmolLM2-360M: измерение чувствительности, выбор кодов под бюджет бит, сборка и оценка по перплексии и KL, а также задания для запуска на Modal. Текст источника обрывается на середине описания требований.

Ключевые факты

  • LookAtMyQuant (лицензия MIT) сжимает текстовые веса Inkling-2-Mini с 18,89 ГБ до четырёх сборок для Apple Silicon (MLX): 5,38, 8,87, 11,18 и 12,76 ГБ.
  • Сборка на 12,76 ГБ совпадает с BF16-учителем на 100,0% по всем тестам (349 из 349) при 32,5% меньшем объёме весов; 11,18 и 8,87 ГБ сохраняют 99,2-99,3% среднего по трём задачам.
  • Самая маленькая сборка (5,38 ГБ) даёт 88,0% на GSM8K и 70,7% на HumanEval (64,0% по строгому чтению); на Apple M5 Max с черновыми моделями DSpark, 124,4 ток/с медианно, 75,3 ток/с последовательно, активная память 5,98 ГБ.
  • Qwen3.8-27B сжата с 53,7 до 7,2 ГБ и решает 401 из 540 математических задач, как оригинал; GGUF Unsloth того же размера, 348.
  • Все результаты получены самими авторами; «5,4 ГБ», размер файла весов, а не полный расход памяти при работе.

Почему это важно

Модель с 26,4 млрд параметров обычно требует десятков гигабайт, а здесь её текстовые веса ужаты с 18,89 до 5,38 ГБ, и по замерам авторов она остаётся рабочей: 88,0% на GSM8K и 70,7% на HumanEval. Более крупные сборки (11,18-12,76 ГБ) по тем же замерам почти не отстают от исходной модели или совпадают с ней. Отдельный интерес, сравнение с GGUF от Unsloth: при близком размере (8,87 против 9,14 ГБ) KL ниже в 2,34 раза на английском, диалогах и коде.

Кому это важно

Владельцам Mac с Apple Silicon, которые хотят запускать крупные MoE-модели локально. Также тем, кто занимается квантизацией и сжатием моделей: в репозитории выложены метод, рецепты и код, а лицензия MIT позволяет использовать его свободно.

Как это применить

На Apple Silicon ставится пакет командой pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git (подтягивает mlx, mlx-lm, numpy и huggingface-hub). Дальше запускается lamq generate с репозиторием, например shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB, и при желании с --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter для ускорения; есть и Python-интерфейс runtime_mlx.load. Чтобы воспроизвести сам метод, README предлагает пройти пайплайн на SmolLM2-360M: измерение, выбор кодов под бюджет бит, сборка и оценка. Рецепт для Qwen3.5-4B описан как примерно $34 GPU-времени. Код распространяется по лицензии MIT.

Можно ли доверять

Все цифры взяты из README самого проекта; независимой проверки или воспроизведения в видимом тексте нет, а кто стоит за проектом, из текста не ясно. Часть сравнений (например, с GGUF от Unsloth для сборки 5,38 ГБ) сделана по собственной схеме с 384 токенами, а HumanEval для этой сборки сильно зависит от способа чтения ответа: 70,7% против 64,0% по строгому правилу. Для Inkling-2-Mini оценка шла на 200 задачах GSM8K и 164 задачах HumanEval, то есть на небольших выборках. Страница в источнике обрезана, поэтому часть разделов не видна.

Риски и подводные камни

Заголовок про «5,4 ГБ памяти» неточен: 5,38 ГБ, размер файла весов, а активная память у этой сборки 5,98 ГБ. Рекордные скорости (124,4 ток/с) получены на Apple M5 Max и с 4-битным черновиком DSpark; без него последовательная скорость той же сборки, 75,3 ток/с. Работа описана для Apple Silicon и среды runtime_mlx; запускается ли это на другом оборудовании или в llama.cpp, в видимом тексте не сказано. Самая сильная степень сжатия сопровождается заметной потерей на HumanEval относительно крупных сборок, так что выбор размера зависит от задачи.