Что выгоднее для малых Qwen3: больше бит в весах или усреднение порядка ответов

Локальные языковые модели экономят память, храня веса в меньшем числе бит. А чувствительность к порядку вариантов ответа в тестах с выбором можно уменьшить, усредняя результат по нескольким перестановкам. Авторы статьи на Hugging Face спрашивают: ухудшает ли первое второе и что дешевле, если бюджет вывода фиксирован.
Эксперимент: две небольшие модели, Qwen3-0.6B и Qwen3-1.7B, с симулированным квантованием весов методом round-to-nearest (округление к ближайшему). Проверены 8, 6, 4 и 3 бита, эталон, fp16. Ответ считывали по логитам букв A, D на четырёх наборах: ARC-Easy, ARC-Challenge, MMLU и HellaSwag, по 300 заданий в каждом.
Результаты по точности. При 6 битах точность не падает относительно fp16: она выше на +1,8 (от +1,0 до +2,5) пункта у 0.6B и на +0,9 (от +0,3 до +1,5) пункта у 1.7B; авторы прямо пишут, что этот прирост не объясняют. При 8 битах точность меняется на −0,7 (от −1,1 до −0,3) и −0,4 (от −0,7 до −0,2) пункта соответственно.
Перекос по позиции ответа (answer-slot skew, склонность модели предпочитать определённую букву). При 4 битах он растёт с 0,15 до 0,53 у 0.6B и с 0,07 до 0,12 у 1.7B. Контроль с гауссовым шумом при том же отношении сигнал/шум весов даёт 0,15 и 0,37 (два розыгрыша) и 0,19 (один розыгрыш), поэтому авторы называют контроль неубедительным: он не позволяет сказать, добавляет ли округление перекос сверх шума равной мощности. Доля смен ответа при перестановке вариантов с квантованием растёт, но остаётся ниже базовой линии из независимых равномерных ошибок, подобранной под ту же точность.
Усреднение четырёх циклических порядков вариантов возвращает +12,6 пункта точности при 4 битах у 0.6B (при fp16 выигрыш от того же приёма составляет +5,3 пункта).
Стоимость измеряют единой, не зависящей от машины единицей: прочитанные байты весов, умноженные на число проходов. В сравнениях пар при равной стоимости дополнительные порядки выигрывают у дополнительных бит только тогда, когда веса имеют 6 бит или больше. Таблица решений сводится к правилу: брать 6-битные веса, а остаток бюджета тратить на до четырёх порядков по одному проходу. Авторы оговариваются: всё симулировано, на двух малых моделях и простейшем квантователе; поиск по названиям не нашёл более ранних работ, где квантование и порядок вариантов изучались бы вместе.
Ключевые факты
- Тест на Qwen3-0.6B и Qwen3-1.7B с симулированным квантованием round-to-nearest (8, 6, 4 и 3 бита, эталон fp16) на ARC-Easy, ARC-Challenge, MMLU и HellaSwag, по 300 заданий в каждом.
- 6-битные веса не теряют точность относительно fp16: +1,8 пункта у 0.6B и +0,9 пункта у 1.7B (авторы этот прирост не объясняют); 8 бит дают −0,7 и −0,4 пункта.
- При 4 битах перекос по позиции ответа у 0.6B растёт с 0,15 до 0,53, у 1.7B, с 0,07 до 0,12; контроль гауссовым шумом авторы считают неубедительным.
- Усреднение четырёх циклических порядков вариантов возвращает +12,6 пункта при 4 битах у 0.6B (при fp16, +5,3).
- Вывод авторов по стоимости «прочитанные байты весов × число проходов»: брать 6-битные веса и тратить остаток на до четырёх порядков, по одному проходу.
Почему это важно
Квантование весов и усреднение по порядкам вариантов, два распространённых способа сделать малую локальную модель надёжнее на тестах с выбором ответа, но обычно их обсуждают по отдельности. Авторы утверждают, что поиск по названиям не нашёл более ранних работ, где квантование и порядок вариантов изучались бы вместе. Здесь они сведены в одно правило выбора при фиксированном бюджете.
Кому это важно
В первую очередь тем, кто запускает малые модели локально и оценивает или применяет их в задачах с выбором из вариантов A, D: исследователям оценки моделей и разработчикам, которые ограничены памятью и числом проходов. Для моделей других размеров и других квантователей вывод в статье не проверялся.
Как это применить
Правило авторов: брать 6-битные веса и остаток бюджета тратить на до четырёх порядков вариантов, по одному проходу на порядок. Стоимость считается в единице «прочитанные байты весов × число проходов». Дополнительные порядки выигрывают у дополнительных бит только при весах от 6 бит; при 4 битах усреднение порядков на 0.6B возвращает +12,6 пункта. Это результат симуляции, а не замеров на реальных ядрах, поэтому реальные скорость и расход памяти нужно проверять отдельно.
Можно ли доверять
Это краткая аннотация на странице Hugging Face; авторы и организации в тексте страницы не названы, подробных результатов по отдельным наборам нет. Для основных сравнений приведены доверительные интервалы, а часть выводов сами авторы называют неубедительной (контроль с гауссовым шумом). Авторы честно оговаривают: всё симулировано, на двух малых моделях и простейшем квантователе. Рецензирование не упоминается.
Риски и подводные камни
Выборка небольшая: по 300 заданий на набор. Прирост точности на 6 битах относительно fp16 авторы не объясняют, так что полагаться на него как на закономерность рано. Контроль гауссовым шумом не показал, добавляет ли округление перекос сверх равного по мощности шума. Квантование симулировано, реальных ядер, замеров на железе и задержек нет; единица стоимости не зависит от машины. Охвачены только Qwen3-0.6B и Qwen3-1.7B и только round-to-nearest, поэтому перенос правила на крупные модели и другие квантователи не подтверждён.