Группы нейронов в Qwen3, Llama-3.2 и Gemma-3 редко нужны целиком

Исследования интерпретируемости часто показывают, что вмешательство в группу нейронов меняет ответ модели. В аннотации приведён недавний пример: удаление группы из 18 нейронов в Qwen3-32B заставляет модель отвечать «Simba» вместо «Scar» на двухшаговую загадку про «Короля Льва». Авторы работы отмечают, что такая демонстрация доказывает лишь, что группа важна, но не то, какая её часть необходима, могут ли то же самое сделать другие группы и переносится ли эффект на другие входные данные.
Чтобы ответить на эти вопросы, для каждой выбранной группы они перебрали все 4096 подмножеств из 12 MLP-нейронов. Эксперименты шли на малых моделях: Qwen3-0.6B, Qwen3-1.7B, Llama-3.2-1B и Gemma-3-1B. На задаче с двумя вариантами ответа про столицы (Qwen3-0.6B) обнуление 12 выбранных нейронов снижает запас правильного ответа над альтернативой (answer margin) на 27%, а случайные нейроны почти ничего не меняют. Но если подставить в те же нейроны значения из других вопросов, ответ тоже почти не меняется: их активации почти постоянны от вопроса к вопросу, и авторы не нашли свидетельств, что нейроны несут содержание конкретного вопроса.
На двухшаговых цепочках отношений подмена 12 нейронов активациями из вопроса первого шага сдвигает ответ к промежуточной сущности (от Scar к Simba). Жадный ответ начинается с этой сущности в 9 из 11 цепочек у Qwen3-1.7B, в 9 из 11 у Llama-3.2-1B и в 8 из 10 у Gemma-3-1B; со случайными нейронами этого не происходит никогда.
Главный вывод: группа редко необходима целиком, часто достаточно нескольких нейронов. Во многих цепочках непересекающиеся подмножества по отдельности переворачивают ответ; в разведочном анализе это случалось чаще всего, когда модель была менее уверена. Эффект группы переносится на перефразировки той же цепочки, но на других проверенных цепочках заметно слабее. Авторы оговаривают, что изучали нейронные причинные вмешательства и альтернативные подмножества, а полную связность цепей (circuits) не восстанавливали.
Ключевые факты
- Показ того, что вмешательство в группу нейронов меняет ответ (например, 18 нейронов в Qwen3-32B), не говорит, какая часть группы необходима, есть ли альтернативные группы и переносится ли эффект.
- Для каждой выбранной группы проверены все 4096 подмножеств из 12 MLP-нейронов в малых моделях Qwen3-0.6B, Qwen3-1.7B, Llama-3.2-1B и Gemma-3-1B.
- Обнуление 12 выбранных нейронов в Qwen3-0.6B снижает запас ответа на 27%, но подстановка значений из других вопросов почти ничего не меняет: активации почти постоянны.
- Целиком группа редко необходима: часто хватает нескольких нейронов, а во многих цепочках непересекающиеся подмножества по отдельности меняют ответ.
- Эффект переносится на перефразировки той же цепочки, но на других проверенных цепочках заметно слабее.
Почему это важно
Демонстрации вида «убрали группу нейронов, ответ изменился» нередко подают как найденную цепь, отвечающую за конкретное знание или рассуждение. Работа показывает, что одного такого наблюдения мало: оно говорит о значимости группы, но не о необходимости всех её нейронов, не об уникальности и не об обобщаемости. Результаты на малых моделях указывают, что выводы о «схеме» из единичного примера могут быть слишком сильными.
Кому это важно
Прежде всего исследователям интерпретируемости и тем, кто читает и пересказывает такие работы: выводы о нейронных цепях стоит проверять на необходимость, на альтернативные подмножества и на перенос. Косвенно это касается всех, кто опирается на подобные демонстрации при разговорах о том, как устроены большие модели.
Как это применить
Из самой работы вытекает схема проверки для собственных экспериментов: перебирать подмножества выбранной группы, сравнивать со случайными нейронами, подставлять значения из других вопросов, а также проверять перефразировки и другие цепочки. Отдельно в аннотации не упоминается ни выпуск кода, ни набора данных.
Можно ли доверять
Это препринт на странице Hugging Face, и разбор опирается только на аннотацию. Выборки малы: на каждую модель приходится 10 или 11 цепочек. Эксперименты шли на моделях от 0,6 до 1,7 млрд параметров, результатов для самой Qwen3-32B нет. Аннотация не называет авторов и организации, а также не указывает, как именно отбирались 12 нейронов, кроме слова «выбранные». Сами авторы признают, что связность цепей целиком не восстанавливали.
Риски и подводные камни
Выводы нельзя переносить на крупные модели без проверки: примером для критики служит Qwen3-32B, а измерения сделаны на малых моделях. Статистика по небольшому числу цепочек даёт лишь ориентир. Наблюдение о том, что непересекающиеся подмножества чаще переворачивают ответ при меньшей уверенности модели, авторы называют разведочным анализом, то есть не окончательным результатом.
«Такая демонстрация устанавливает, что группа важна, но не то, какая её часть необходима, могут ли то же самое сделать другие группы и переносится ли эффект на другие входные данные.»
— Из аннотации работы на Hugging Face Papers