Unsloth выпустила новые GGUF для Qwen3.8-27B: заявлен рост точности на 5-10%

Unsloth на странице «Qwen3.8, How to Run Locally» сообщила, что 11 ноября 2026 года обновила GGUF-квантизации модели Qwen3.8-27B. Теперь они собраны по алгоритму Unsloth Dynamic V3.1 (preview). Qwen3.8-27B, плотная (dense) модель на 27 млрд параметров с поддержкой изображений и рассуждений и окном контекста 256K. По заявлению Unsloth, её можно запустить локально на 17 ГБ RAM/VRAM.
Главное утверждение: Dynamic V3.1 повышает среднюю точность на 5-10% при сопоставимом размере, в том числе на Terminal Bench и DeepSWE. В разделе обновления формулировка немного иная: рост на 5-10% при том же размере «на большинстве бенчмарков». Источник не уточняет, это процентные пункты или относительный прирост. Unsloth называет V3.1 лучшим в своём классе для большинства задач: кодинга, агентных сценариев и обычного чата. Это оценка самого разработчика.
Обновлено большинство квантов от 2 до 6 бит. Трёхбитные UD3 не трогали: в Unsloth решили, что они на уровне UD3.1. Для проверки запускали агентные бенчмарки Terminal Bench 2.1 и DeepSWE v1.1, а также LiveCodeBench v6, GPQA Diamond, MMLU-Pro, AIME25 и другие. Для агентных тестов использовали контекст 256K, для остальных, 128K. Та же методика применялась к DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next, где тоже использован алгоритм V3.1 (preview). В доступном тексте нет таблиц с результатами, поэтому конкретных цифр по отдельным тестам нет.
Кроме точности, в квантах заявлены поддержка роли developer для агентных инструментов вроде Codex, включённый MTP для быстрого вывода и улучшенный разбор вложенных объектов при вызове инструментов. Для 4-битных квантов нужно 16-19 ГБ видеопамяти (примеры: RTX 5080, RTX 4090, Mac с 24 ГБ RAM). Запускать можно через llama.cpp и Unsloth Desktop, открытое приложение для локального ИИ, которое само выгружает часть модели в RAM и видит несколько GPU. Рекомендуемые параметры: для режима рассуждений temperature 1.0, top_p 0.95, top_k 20; для режима без рассуждений temperature 0.7, top_p 0.80, presence_penalty 1.5. Максимальный контекст, 262 144 токена, с расширением до 1M через YaRN.
Отдельно выпущены динамические NVFP4-кванты Qwen3.8-27B: по заявлению Unsloth, они примерно в 1,5 раза быстрее чекпойнтов BF16, а калибровка FP8 KV-кэша даёт вдвое более длинный контекст. Нужны видеокарты NVIDIA Blackwell (RTX 50-й серии, DGX Spark, B200, B300); для старых карт советуют GGUF. Страница сначала пишет, что NVFP4 работает только в vLLM, а ниже даёт инструкцию для SGLang версии v0.5.19, то есть сама себе противоречит.
В конце страницы описана и огромная модель Qwen3.8-2.4T-A95B (2,4 трлн параметров, 95 млрд активных), которую страница называет соперницей GPT-5.6 Sol. Полная версия занимает 4,9 ТБ, 1-битный Dynamic GGUF, 397 ГБ (на 91% меньше), IQ1_S, 508 ГБ. Для 397-гигабайтного кванта нужно не менее 450 ГБ RAM. Unsloth расширила формат IQ1_S из llama.cpp с 1,5625 до 1,1875 бита на вес за счёт сокращения словаря кодов (codebook) и утверждает, что на больших моделях он сохраняет много точности без QAT и QAD. Если модель помещается в память, скорость генерации на B200, около 20 токенов/с. В завершение Unsloth пишет, что готовит ещё более сильную версию Dynamic-квантов для Qwen4 и будущих моделей.
Ключевые факты
- 11 ноября 2026 года Unsloth обновила GGUF-кванты Qwen3.8-27B до алгоритма Dynamic V3.1 (preview); обновлено большинство квантов от 2 до 6 бит, трёхбитные UD3 оставлены как есть.
- Заявленный выигрыш, 5-10% точности при сопоставимом размере (на большинстве бенчмарков); пункты это или относительный прирост, источник не говорит.
- Тестировали на Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro, AIME25; контекст 256K для агентных тестов и 128K для остальных.
- Новые NVFP4-кванты Qwen3.8-27B заявлены как примерно в 1,5 раза быстрее BF16, но требуют видеокарт NVIDIA Blackwell.
- Для 2,4-триллионной Qwen3.8-2.4T-A95B есть 1-битный GGUF на 397 ГБ (на 91% меньше полной версии), которому нужно не менее 450 ГБ RAM.
Почему это важно
Для локального запуска больших моделей качество квантизации решает, сколько точности останется при ограниченной памяти. Unsloth заявляет рост на 5-10% при том же размере файла, в том числе на агентных тестах Terminal Bench и DeepSWE. Если это подтвердится, владельцам одной домашней видеокарты не придётся брать более тяжёлый квант ради качества. Для самой Unsloth это шаг от Dynamic V3.0 к V3.1; компания же обещает ещё более сильную версию для Qwen4 и будущих моделей.
Кому это важно
Тем, кто запускает Qwen3.8-27B у себя: на видеокартах с 16-19 ГБ (RTX 5080, RTX 4090) или на Mac с 24 ГБ памяти. Разработчикам агентных систем: в квантах заявлены поддержка роли developer для инструментов вроде Codex, MTP и улучшенный разбор вложенных объектов при вызове инструментов. Владельцам карт Blackwell интересны NVFP4-кванты. Энтузиастам огромных моделей любопытен 1-битный GGUF для Qwen3.8-2.4T-A95B.
Как это применить
Скачать Qwen3.8-27B-GGUF (или Qwen3.8-27B-NVFP4) с Hugging Face или ModelScope и запустить через llama.cpp либо открытое приложение Unsloth Desktop (macOS, Windows, Linux). Для режима рассуждений Unsloth рекомендует temperature 1.0, top_p 0.95, top_k 20; для режима без рассуждений, temperature 0.7, top_p 0.80, presence_penalty 1.5. Глубину рассуждений регулирует reasoning_effort (по умолчанию xhigh). NVFP4 нужен только владельцам карт Blackwell и запускается через vLLM; на старых картах лучше брать GGUF. Если используется SGLang, нужна версия v0.5.19. Трёхбитные UD3 не обновлялись, так что новый квант есть не для каждого размера.
Можно ли доверять
Источник, документация самого разработчика квантов. Все цифры о приросте точности, скорости и сохранении качества, собственные измерения Unsloth, независимой проверки в тексте нет. В доступном тексте нет таблиц с результатами по отдельным тестам, поэтому сам прирост проверить по странице нельзя. Утверждение о «лучшем в классе», самооценка. Формулировки неоднородны: «средняя точность» в начале и «на большинстве бенчмарков» в разделе обновления. Страница местами противоречит себе (SGLang то «не поддерживается», то дана инструкция), а значения 92-97% восстановления точности NVFP4 стоят рядом с текстом про Qwen3.6, так что к Qwen3.8-27B они привязаны неясно. Алгоритм V3.1 помечен как preview.
Риски и подводные камни
Неясно, прирост в 5-10%, это процентные пункты или относительное улучшение; от этого сильно зависит практический смысл. Алгоритм в статусе preview, поведение может измениться. NVFP4 работает только на Blackwell и пока в vLLM, а требования к SGLang описаны противоречиво. Для самой большой модели 1-битный квант всё равно требует не менее 450 ГБ RAM, а при нехватке памяти вывод уходит на диск и сильно замедляется. Новые 1-битные типы данных требуют отдельной сборки llama.cpp (ветка IQ1_XXXS).
«Мы работаем над ещё более удачной версией Dynamic-квантов, которая будет применена к Qwen4 и будущим моделям.»
— Unsloth, страница «Qwen3.8, How to Run Locally»