Представлен метод HOPE: обрезка экспертов в MoE-моделях с учётом их связей

Представлен метод HOPE: обрезка экспертов в MoE-моделях с учётом их связей

Модели Mixture-of-Experts (MoE, «смесь экспертов») позволили масштабировать нейросети до сотен миллиардов параметров, но у них есть цена: все экспертные блоки (MLP) должны лежать в памяти во время работы, хотя для каждого токена задействована лишь малая часть. Пример из статьи: у Qwen3.5-122B по 256 экспертов в каждом из 48 MoE-слоёв, и 95% из примерно 250 ГБ памяти под параметры занимают именно экспертные блоки, при этом для одного токена в каждом слое используются только 8 экспертов.

Обрезка экспертов (expert pruning), прямой способ снизить нагрузку на память: наименее полезных экспертов удаляют насовсем. По словам авторов, у такого подхода три плюса: он не страдает от задержек, из-за которых непрактична динамическая подгрузка и выгрузка экспертов, не требует обучения и сочетается с квантизацией. Трудность в выборе, кого удалять безопасно. Существующие методы, первого порядка: они оценивают каждого эксперта по калибровочному набору данных отдельным числом и независимо в каждом слое вырезают наименее важных. Это предполагает, что вклад эксперта не зависит от остальных, тогда как, по наблюдениям авторов, эксперты образуют устойчивые кооперативные группы, которые часто активируются вместе.

HOPE (Higher-Order Pruning of Experts), метод второго порядка, учитывающий парные взаимодействия экспертов. Идея: удалить эксперта A может казаться безопасным само по себе, но если тесно связанный с ним эксперт B очень важен, удаление A разрушит их совместную работу. Метод первого порядка этого не видит, потому что оценивает A и B порознь. Эффект усиливается при высокой доле обрезки: при удалении до 50% экспертов рвётся много связей.

Как это работает. При удалении набора экспертов из слоя выбор активных экспертов для токена меняется: на место удалённых приходят эксперты со следующими по величине весами гейта, и разница выхода слоя, это ошибка обрезки. Минимизировать её напрямую нельзя, так как она зависит от замещающих экспертов, а те, от самого набора удаляемых. HOPE вводит вычислимую замену (суррогат), которая строго ограничивает сверху главную составляющую ошибки. Поскольку это квадрат суммы, при раскрытии возникают перекрёстные члены для пар экспертов, именно те, что методы первого порядка отбрасывают. Задача сводится к квадратичной программе (QP) над матрицей F, собираемой на калибровочных данных: диагональ отражает важность отдельных экспертов, внедиагональные элементы, парный кооперативный вклад. Решают её через непрерывную релаксацию с последующим округлением до двоичного решения. Дополнительные затраты малы: нужен тот же один прямой проход по калибровочным данным, что и у других методов, а стандартный QP-решатель тратит 1-2 секунды на слой; авторы называют добавочные издержки пренебрежимыми, так как доминирует калибровка.

Связь с REAP. REAP (Router-weighted Expert Activation Pruning), современный метод первого порядка и главный конкурент. Диагональ матрицы F почти идеально воспроизводит ранжирование экспертов по REAP (по корреляции Спирмена), поэтому, как утверждают авторы, любое превосходство HOPE над REAP объясняется внедиагональными, то есть парными, членами.

Результаты. Проверка проводилась на трёх моделях (Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air), с двумя калибровочными наборами (Evol-CodeAlpaca и траектории SWE-Bench Verified), на наборе Tulu3 и на SWE-Bench Pro (агентное программирование), против четырёх методов первого порядка (REAP, MAN, EAN и Frequency) при доле обрезки от 10% до 50%. По всем условиям HOPE получил лучший средний ранг, 2,07 из 5 методов (меньше, лучше), чаще всех занимал первое место (39% условий) и первые два места (67%). Преимущество растёт с долей обрезки: при 50% средний ранг HOPE, 1,58 против 2,42 у ближайшего REAP. Авторы называют это и самым практичным режимом: сэкономленная память позволяет держать более длинный контекст, глубже рассуждать и делать больше вызовов инструментов. В заголовочном тезисе заявлен выигрыш до +6,1% на задачах агентного программирования над следующим по качеству методом (в тексте не уточняется, это процентные пункты или относительная величина).

Наиболее заметен эффект на SWE-Bench Pro, где модель самостоятельно решает реальные задачи GitHub. Авторы предполагают, что такие многошаговые задачи задействуют разнообразные сочетания экспертов. На Qwen3.5-35B-A3B при 50% обрезки HOPE набрал 42,3, на уровне необрезанной модели (41,8), тогда как REAP упал до 36,2 (регресс на 13%). Авторы добавляют, что обрезанные модели иногда сравниваются с исходной или превосходят её, вероятно, из-за удаления малозначимых экспертов, снижающего шум, и что этот эффект не уникален для HOPE. Кроме того, калибровка на кодовых данных любым методом, включая HOPE, не привела к сильной деградации на некодовых тестах, а на Tulu3 HOPE показал себя хорошо при любом калибровочном наборе.

Анализ расхождений с REAP: у экспертов, оставленных только HOPE, средняя кооперативная оценка (среднее значение F с остальными сохранёнными экспертами) стабильно выше, чем у оставленных только REAP. То есть HOPE жертвует некоторыми индивидуально сильными экспертами ради сохранения кооперативных кластеров, и прирост на тестах, по мнению авторов, подтверждает выгодность такого обмена.

Как запустить. Авторы выпустили базовый пакет из трёх шагов, проверенный на Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5. Шаг 1, hope calibrate: один прямой проход по калибровочным данным (агентные прогоны или однооборотные трассы) с перехватом работы каждого MoE-слоя через HuggingFace transformers; записываются выбранные эксперты, веса гейта, нормы выходов и статистика совместной активации; результат, матрица F в файле HDF5. Шаг 2, hope solve: решает бинарную квадратичную программу через непрерывную релаксацию (несколько секунд на слой) и выдаёт JSON с набором на удаление; параметр --prune-frac задаёт долю, например 0.50. Шаг 3, hope prune: создаёт уменьшенный чекпоинт. Это обычный чекпоинт HuggingFace, меньший на диске и в памяти; менять определения моделей в vLLM или SGLang не требуется. Есть и компактный Python API с функциями calibrate, solve и prune_model.

Ключевые факты

  • HOPE (Higher-Order Pruning of Experts), метод обрезки экспертов в MoE-моделях без дообучения: учитывает парные взаимодействия экспертов через квадратичную программу, а не оценивает каждого по отдельности.
  • Мотивация: у Qwen3.5-122B экспертные блоки занимают 95% из примерно 250 ГБ памяти под параметры, а на токен в каждом слое работают лишь 8 экспертов из 256.
  • Лучший средний ранг 2,07 из 5 методов по всем условиям; при 50% обрезки, 1,58 против 2,42 у REAP; заявлен выигрыш до +6,1% на агентном программировании.
  • На SWE-Bench Pro (Qwen3.5-35B-A3B, 50% обрезки) HOPE набрал 42,3 при 41,8 у необрезанной модели и 36,2 у REAP.
  • Выпущен пакет из шагов calibrate, solve и prune; результат, обычный чекпоинт HuggingFace, не требующий правок в vLLM и SGLang.

Почему это важно

Память под экспертов, главное узкое место MoE-моделей при запуске: почти вся она занята блоками, которые для конкретного токена простаивают. Обрезка экспертов не требует обучения и сочетается с квантизацией, а HOPE пытается решить её главную проблему, выбор, кого удалять. Идея в том, что эксперты работают группами, и методы первого порядка эти группы ломают, особенно при агрессивной обрезке. По результатам авторов, при 50% обрезки HOPE удерживает качество на SWE-Bench Pro на уровне необрезанной модели там, где REAP заметно проседает.

Кому это важно

Командам, которые самостоятельно запускают крупные MoE-модели (в тексте, семейства Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5) и упираются в память. Также тем, кто занимается сжатием моделей и исследованием маршрутизации в MoE, и тем, кто использует агентные сценарии программирования, где, по словам авторов, сохранение кооперативной структуры экспертов важнее всего.

Как это применить

Пакет состоит из трёх команд. Сначала hope calibrate прогоняет калибровочные запросы через модель и сохраняет матрицу F в HDF5. Затем hope solve с параметром --prune-frac решает квадратичную программу и записывает набор экспертов на удаление в JSON. Наконец hope prune создаёт уменьшенный чекпоинт, который грузится как обычная модель HuggingFace и работает в vLLM и SGLang без правок определений моделей. Калибровочные данные влияют на результат: авторы использовали Evol-CodeAlpaca и траектории SWE-Bench Verified, под свою задачу набор стоит подбирать самим. Лицензия и условия использования пакета в доступном тексте не приведены.

Можно ли доверять

Все цифры взяты из экспериментов самих авторов поста; независимых проверок и сторонних откликов в тексте нет. Данные подкреплены ссылкой на статью с выводом метода, но в видимом тексте не названы ни авторы, ни организации. Заявление «до +6,1%» не уточняет, процентные пункты это или относительный прирост. Объяснение того, почему обрезанные модели иногда догоняют исходную, подано авторами как вероятное, а не доказанное. Статья доступна не полностью: текст обрывается на примере Python API.

Риски и подводные камни

Оценка проведена на трёх моделях, двух калибровочных наборах и двух группах тестов, поэтому перенос на другие модели и задачи не гарантирован. Лучший средний ранг не означает победу везде: первое место HOPE занял в 39% условий. На умеренных долях обрезки преимущество меньше: авторы сами пишут, что оно растёт с долей удаления. Для моделей Qwen3.5-122B и GLM-4.5-Air в видимом тексте нет результатов SWE-Bench Pro, как нет и конкретных размеров обрезанных моделей на диске. Метод требует калибровочного прохода и решения QP на каждый слой (1-2 секунды на слой); авторы называют эти затраты пренебрежимыми. Пакет назван базовым.

«На самом деле эксперты образуют кооперативные группы.»

— авторы блога о методе HOPE, Hugging Face