Разреженные автоэнкодеры показали: эксперты MoE в Qwen3-30B-A3B специализируются тоньше доменов

Модели Mixture-of-Experts (MoE, смесь экспертов) направляют каждый токен к нескольким из многих экспертов, но за что отвечает отдельный эксперт, до сих пор не ясно. Существующие анализы считают, как часто эксперт выбирается на корпусах с разметкой по доменам. По мнению авторов статьи, такой инструмент заранее фиксирует таксономию, остаётся грубым и фиксирует выбор эксперта, а не его вклад.
Авторы предлагают изучать специализацию в пространстве признаков: обучить разреженный автоэнкодер (sparse autoencoder, SAE) на выходе слоя MoE. Выход слоя, это сумма выходов экспертов, взвешенная роутером, а энкодер SAE аффинный, поэтому предактивация каждого латента (скрытого признака автоэнкодера) точно раскладывается по экспертам. Если усреднить это по корпусу, у каждого эксперта появляется доминирующий набор латентов, тех, чью активацию он в основном и определяет.
Анализ проведён на слоях 4, 30 и 46 модели Qwen3-30B-A3B. Выводы авторов: вклад экспертов гораздо сильнее сосредоточен, чем гейтинг (выбор роутера); у большинства латентов лишь один или два доминирующих эксперта; пересечения доминирующих наборов сосредоточены на нескольких парах экспертов.
Автоинтерпретация этих наборов показывает разделение труда тоньше грубых доменов: есть отдельные эксперты для кода на Java и для фронтенд-веб-кода, а также отдельно для геометрии и для арифметики с многочленами. При этом сами грубые домены занимают очень разное число экспертов. Обученные SAE и код опубликованы на GitHub в репозитории Bytedance-Seed/SAE-Interprets-MoE.
Ключевые факты
- Метод: SAE обучается на выходе слоя MoE; так как выход, взвешенная роутером сумма выходов экспертов, а энкодер аффинный, предактивация каждого латента точно раскладывается по экспертам.
- Анализ выполнен на слоях 4, 30 и 46 модели Qwen3-30B-A3B: вклад экспертов сосредоточен гораздо сильнее, чем гейтинг, у большинства латентов один или два доминирующих эксперта.
- Пересечение доминирующих наборов латентов приходится на небольшое число пар экспертов.
- Автоинтерпретация находит разделение труда тоньше грубых доменов: отдельные эксперты для Java и фронтенд-веб-кода, для геометрии и для арифметики с многочленами; грубые домены занимают очень разное число экспертов.
- SAE и код опубликованы в репозитории Bytedance-Seed/SAE-Interprets-MoE на GitHub.
Почему это важно
Работа предлагает другой взгляд на вопрос, за что отвечает каждый эксперт в MoE-модели. Привычные анализы считают частоту выбора эксперта на корпусах, размеченных по доменам, и, по словам авторов, заранее задают таксономию, остаются грубыми и измеряют выбор, а не вклад. Здесь вклад измеряется напрямую через признаки, а таксономия не задаётся заранее: деление проступает из самих данных.
Кому это важно
Прежде всего исследователям интерпретируемости и тем, кто изучает устройство MoE-моделей, включая семейство Qwen3. Тем, кто хочет повторить или продолжить анализ, пригодятся опубликованные SAE и код.
Как это применить
Практический выход, указанный в источнике, один: опубликованы обученные SAE и код, их можно взять в репозитории Bytedance-Seed/SAE-Interprets-MoE на GitHub и воспроизвести анализ. Применение результатов для улучшения качества модели, маршрутизации или обучения в источнике не заявлено.
Можно ли доверять
Это научная статья, а описание в источнике, её аннотация; числовых метрик концентрации вклада, числа экспертов по доменам и размеров SAE в ней нет, поэтому сила эффекта по тексту не оценивается. Названия авторов и организаций в аннотации нет; фигурирует лишь имя владельца репозитория в ссылке. Все выводы приведены как утверждения самих авторов. Код опубликован, значит, результаты в принципе можно проверить.
Риски и подводные камни
Упомянуты только слои 4, 30 и 46 одной модели, Qwen3-30B-A3B, поэтому переносить выводы на другие модели и слои без проверки нельзя. Источник не описывает, как именно выполнялась автоинтерпретация, так что качество получившихся описаний экспертов по тексту оценить трудно. Примеры специализации (Java и фронтенд, геометрия и арифметика с многочленами) приведены как иллюстрации, а не как полный перечень.