Нейросети «уже чистые»: эссе пересматривает идею суперпозиции

В эссе «Neural networks are clean» автор от первого лица рассказывает, что после многих месяцев изучения нейронов и цепей в моделях изображений и языка пришёл к выводу: собственные механизмы сети, это понятные строительные блоки, а перспективы механистической интерпретируемости куда лучше, чем он опасался. По его словам, канонические свидетельства полисемантичности и суперпозиции, убедившие значительную часть области (включая его самого), что сеть упаковывает понятия произвольно, были прочитаны неверно. То, что выглядело как произвольная упаковка, в основном оказалось мотивом, который автор называет рекурсивным обобщением. Отсюда вывод: сети можно изучать напрямую, а не распутывать сначала второй моделью.

Контекст спора. Есть два подхода к механистической интерпретируемости. Первый, «быстрая нормальная наука» на самой сети: смотреть нейроны и цепи, их связи, поток данных и ставить эксперименты в агентном масштабе. Второй, исходить из списка гипотетических признаков и пытаться извлечь их все, придумывая всё более сложные цели реконструкции и обычно игнорируя исходную сеть. Область начинала с первого подхода и перешла ко второму, потому что сети казались запутанными узлами. Лучшим объяснением полисемантичности (когда нейрон, судя по всему, выполняет несколько несвязанных задач) считалась суперпозиция: когда нейроны заканчиваются, сеть перестаёт группировать родственные вещи и начинает сворачивать вместе несвязанные, просто потому что они не мешают друг другу. Тогда нужен второй модельный слой, например, разреженный автокодировщик, аппроксимирующий «развёрнутую» сеть.

Главный результат по InceptionV1: суперпозиция была неверным объяснением. Архитектурные проблемы приводили к переполнению поздних слоёв, а слабые инструменты интерпретации усиливали это и делали слои похожими на бессвязные. Когда InceptionV1 изучали впервые, в последнем слое почти не было легко интерпретируемых нейронов. После обычных архитектурных улучшений, без изменения размера модели и обучающих данных, 99-100% нейронов этого слоя легко интерпретируются, а модель в целом понятна от начала до конца. Автор называет её первой нетривиальной сетью, которую он в основном понимает. Он обучил версии модели в диапазоне размеров в 300 раз, и она понятна на любом масштабе: при нехватке места нейроны охватывают более крупные понятия (один нейрон «машина» на много видов машин), а при избытке нейрон дробится на конкретные марки.

Классический пример из зрения тоже назван ошибкой. В 2019 году автор и Крис Ола (Chris Olah) нашли цепь, которую изначально представили как суперпозицию: признак машины, будто растекающийся по набору несвязанных нейронов собаки. Тогда это прочли как «тайник» в многомерном пространстве, откуда следующие нейроны извлекут информацию. Но эту комбинацию никто не считывает: по словам автора, это обычное обобщение и композиция. Насколько ему известно, второй цепи с такой формой никто не опубликовал.

О языковых моделях. В исследовании Anthropic Towards Monosemanticity (2023), посвящённом маленькой однослойной модели, медианный нейрон получил 0 баллов из 14 по рубрике (оценщик не смог выдвинуть ни одной гипотезы). Проект автоматической интерпретируемости OpenAI (тоже 2023 год), который автор начинал в OpenAI, счёл интерпретируемыми около 1,7% нейронов по самой щедрой мере. С лучшими инструментами и современными моделями картина иная. В предварительных аудитах Qwen3-32B оценка такая: примерно 90% «полюсов» нейронов имеют одну основную задачу (часто с небольшими родственными ответвлениями), ещё около 7%, две родственные задачи, и лишь около 2-4% пока не поняты. Автор оговаривает, что доля зависит от порога для слабых активаций, глубины, плотности подцепей и от того, что считать «одной вещью». В выборках, которые он смотрел внимательнее с учётом сильных активаций, доля не произвольных смесей ближе к 97%, но это относительно небольшие выборки. Единый показатель «чистоты» он советует считать лишь грубым ориентиром. Плотные модели и модели со смесью экспертов, по его наблюдениям, похожи; похожие результаты получены в моделях до триллионов параметров, например Kimi K3, подробности обещаны в сопутствующей статье.

Рекурсивное обобщение. Остаток кажущейся полисемантичности, по мнению автора, в основном объясняется так: по мере роста нейрон отращивает ответвления, как ветка дерева. Пример: нейрон, определявший «iy», вырос до «diy», а затем до «do it yourself», где «iy» вообще нет. Идея впервые мелькнула в забытом подразделе статьи Multimodal Neurons (2021), а теперь, когда можно следить за ростом нейронов в ходе обучения, подтверждается везде, где автор смотрел. Даже оригинальная InceptionV1 не была «узлом»: самые нечитаемые нейроны оказываются разросшимися локально в разумную соседнюю область. Итог: принцип обучения один, обобщение, но оно фрактально. Поэтому и объяснения могут быть фрактальными: начать с простого и «приближать» там, где нужны детали.

Почему разрыв был так велик, автор объясняет совокупностью обыденных причин: объясняющие модели 2023 года не умели цикл «гипотеза, проверка»; инструменты и метрики были слабыми и поощряли объяснения, которые хорошо имитируют активации, а не верные; никто не знал, каких мотивов ждать в языковых нейронах; большинство работ использовали малые или упрощённые модели. Текст источника обрывается на рассуждении о том, что нейроны часто отслеживают чувства и социальные сигналы.

Ключевые факты

Автор эссе утверждает: канонические примеры полисемантичности и суперпозиции были истолкованы неверно, а кажущаяся произвольная упаковка в основном является «рекурсивным обобщением», нейрон растёт, как ветка с ответвлениями.
После обычных архитектурных улучшений InceptionV1 (без смены размера модели и данных) 99-100% нейронов последнего слоя легко интерпретируются, хотя раньше таких почти не было; версии модели обучены в диапазоне размеров в 300 раз.
Для Qwen3-32B предварительная оценка: около 90% «полюсов» нейронов имеют одну основную задачу, ещё около 7%, две родственные, лишь около 2-4% пока не поняты; автор подчёркивает зависимость цифр от порогов.
Для сравнения: в Towards Monosemanticity (Anthropic, 2023) медианный нейрон получил 0 из 14, а в проекте OpenAI 2023 года интерпретируемыми сочли около 1,7% нейронов по самой щедрой мере.
Автор считает, что сети можно изучать напрямую, не распутывая их вторым модельным слоем вроде разреженного автокодировщика; единый показатель «чистоты» он называет лишь грубым ориентиром.

Почему это важно

Если тезис автора верен, он меняет стратегию целой области. Последние годы значительная часть работы по интерпретируемости строилась на допущении, что сети «запутаны» суперпозицией и сначала их надо распутывать вторым модельным слоем, например разреженным автокодировщиком. Автор утверждает, что для InceptionV1 суперпозиция была неверным объяснением, а в современных языковых моделях большинство нейронов имеют понятную основную задачу. Тогда можно вернуться к прямому изучению нейронов и цепей. Но это пока позиция одного автора, а не установленный консенсус.

Кому это важно

Прежде всего исследователям механистической интерпретируемости и безопасности ИИ: эссе напрямую оспаривает подход, где признаки извлекаются отдельной моделью-декомпозицией. Также будет интересно разработчикам, которым важно понимать, как устроены внутренности моделей, и всем, кто следит за спором о том, можно ли вообще «прочитать» нейросеть.

Как это применить

Это эссе-рассуждение, а не готовый инструмент. Практический вывод для специалистов: стоит смотреть на нейроны и цепи самой сети, прослеживая, как нейроны росли в ходе обучения, и не считать широкие нейроны сразу «произвольной смесью». Автор также утверждает, что архитектурные изменения, помогающие глубоким слоям обучаться лучше, побочно делают их понятнее. Данные о цене, лицензии или готовом коде в доступном тексте не приведены.

Можно ли доверять

Осторожно. Это личное эссе от первого лица, а не рецензируемая статья; видимый текст обрывается на середине, а полные результаты по языковым моделям (включая Kimi K3) отнесены к сопутствующей статье. Автор не назван в видимой части текста. Цифры по Qwen3-32B (около 90%, около 7%, около 2-4%) автор сам называет предварительными оценками, зависящими от порогов; показатель около 97% получен на относительно небольших выборках. Независимой проверки или воспроизведения в доступном тексте не упомянуто. Сравнения с работами 2023 года (0 из 14 и около 1,7%) относятся к разным методикам и моделям, поэтому прямо сопоставлять эти числа нужно с оглядкой.

Риски и подводные камни

Автор сам признаёт, что итоговая «доля чистоты» сильно зависит от порогов для слабых активаций и от того, что считать «одной вещью», и просит не оптимизировать единый показатель напрямую. Кроме того, отдельные примеры (нейрон «iy» → «diy» → «do it yourself») иллюстрируют идею, но не доказывают её для всех нейронов. Вывод «сети чисты» опирается на InceptionV1 после архитектурных правок и на предварительные аудиты языковых моделей; для остальных архитектур он остаётся гипотезой. Часть аргументации (почему прежние оценки были такими низкими), объяснение автора, а не измеренный факт.

«Нейронные сети уже чисты.»

— автор эссе «Neural networks are clean»