Гипотеза линейного представления, не одна гипотеза, а семейство, считают исследователи
Статья ставит под вопрос то, как в области интерпретируемости нейросетей принято говорить о «гипотезе линейного представления», идее, что модели кодируют понятия в виде линейных направлений во внутреннем пространстве представлений. Авторы отмечают: чтобы делать выводы о представлениях, которые верны не только для одной конкретной обученной модели, нужно явно определить, когда два представления считаются эквивалентными. На практике эту эквивалентность почти никогда не проговаривают явно.
Проблема в том, что разные понятия эквивалентности сохраняют разные структуры данных. Из-за этого метрики, зонды (probes) и вмешательства, которые внешне выглядят как изучение одного и того же представления, на самом деле могут отвечать на разные вопросы и проверять разные гипотезы. Отсюда центральный тезис статьи: гипотеза линейного представления, это не одна гипотеза, а целое семейство claims, различающихся именно выбором понятия эквивалентности представлений.
Чтобы навести здесь порядок, авторы формализуют идею через теорию групповых действий (group actions): они явно задают объект представления, процедуру, которая его порождает, и итоговое свойство, которое утверждается, а также учитывают эквивалентности, которые накладывает сама архитектура модели. По их словам, такой каркас проясняет, как незаметно меняются допущения между разными метриками, точками съёма активаций и этапами анализа. Этот каркас авторы применяют, чтобы проаудировать распространённые величины, которыми оперируют при анализе представлений, и ряд недавних работ по интерпретируемости.
В доступном тексте статьи не названы авторы и институты, не приведены конкретные примеры проаудированных величин или работ, нет экспериментальных результатов, бенчмарков или числовых показателей, а также не указана дата публикации, это скорее теоретическая рамка, чем эмпирическое исследование.
Ключевые факты
- Авторы утверждают: гипотезу линейного представления обычно обсуждают, не уточняя явно, что значит «эквивалентность» двух представлений
- Разные понятия эквивалентности сохраняют разные структуры, поэтому метрики, зонды и вмешательства, которые выглядят как изучение одного представления, на деле могут проверять разные гипотезы
- Центральный тезис: гипотеза линейного представления, это семейство claims, различающихся выбором понятия эквивалентности, а не одна гипотеза
- Предложен формальный каркас на основе теории групповых действий: он фиксирует объект представления, процедуру его получения, утверждаемое свойство и эквивалентности, задаваемые архитектурой модели
- Каркас использован для аудита распространённых величин представления и ряда недавних анализов интерпретируемости, но конкретные примеры, авторы и числовые результаты в доступном тексте не раскрыты
Почему это важно
Гипотеза линейного представления, одна из ключевых идей в интерпретируемости нейросетей: она лежит в основе множества методов поиска «направлений понятий» в скрытых слоях модели. Если разные исследователи неявно используют разные понятия эквивалентности представлений, их результаты могут казаться сопоставимыми, но на деле отвечать на разные вопросы. Формализация через теорию групп, попытка навести порядок в терминологии и методологии целого направления исследований.
Кому это важно
В первую очередь работа адресована исследователям механистической интерпретируемости и ИИ-безопасности, которые строят или используют методы поиска линейных направлений, зонды и метрики схожести представлений. Полезна она и рецензентам, которым приходится сравнивать методы разных статей между собой.
Как это применить
Практический вывод статьи, прежде чем сравнивать метрики, зонды или интервенции на представлениях, стоит явно проговорить, какое понятие эквивалентности представлений за ними стоит: иначе внешне похожие результаты могут проверять разные гипотезы. Предложенный групповой каркас можно использовать как чек-лист при разработке или оценке методов интерпретируемости.
Можно ли доверять
Доступный текст, это, судя по всему, аннотация или краткое изложение статьи: в нём нет имён авторов, институтов, даты публикации, конкретных примеров аудита и числовых результатов. Само рассуждение выглядит теоретически последовательным, но проверить его без доступа к полному тексту статьи и математическим деталям формализации нельзя.
Риски и подводные камни
Работа носит теоретический характер: в описанном фрагменте нет ни одного конкретного примера аудита, ни экспериментальной проверки предложенного каркаса. Насколько предложенная формализация приживётся в практике интерпретируемости и изменит ли она реальные методы анализа моделей, пока не известно.
«Гипотезу линейного представления часто обсуждают, не делая эту эквивалентность явной.»
— авторы статьи