Механистическая интерпретируемость: исследователи применяют теорию причинности, чтобы понять, как рассуждают языковые модели

Инженерия языковых моделей обогнала науку об их устройстве: миллиарды параметров можно наблюдать во время обучения, но внутренняя логика модели остаётся скрытой. Томас Айкард, профессор философии и информатики Стэнфордского университета, работает в области механистической интерпретируемости, направлении, которое пытается закрыть этот разрыв. Вместе со студентами и соавторами он разработал строгий формальный аппарат на основе теории причинности, который позволяет точно определить, что значит для нейросети «реализовывать алгоритм» на более высоком, интуитивно понятном уровне абстракции, том, что исследуют когнитивная наука, лингвистика и логика, а не только на уровне матричных умножений. Метод по аналогии с тем, как физика переходит от статистики отдельных молекул к закону идеального газа (давление и температура вместо столкновений частиц): активность множества отдельных нейронов группируется в поведение единого вычислительного узла более высокого уровня. Центральный вопрос подхода, названного «каузальной абстракцией», когда два причинных описания, сформулированных на разных языках и с разными переменными, можно считать описаниями одной и той же лежащей в основе реальности на разных уровнях абстракции.

В исследовании 2021 года Айкард и его соавторы, работу возглавлял тогда ещё аспирант Аттикус Гейгер, ныне ведущий исследователь в этой области, показали, что языковая модель на основе BERT внутри реализует элементы логической системы рассуждения: модель усвоила внутренний алгоритм для сложных логических выводов с кванторами («каждый», «некоторый», «не») и отрицанием.

Недавнее внимание привлекла статья «Arithmetic in the Wild» («Арифметика в дикой природе») исследователей компании Goodfire AI из Сан-Франциско, снова под руководством Гейгера. Учёные изучили, как модель на основе Llama рассуждает о циклических понятиях, на примере вопроса «какой месяц наступит через шесть месяцев после августа». Можно было бы ожидать, что модель считает прямо в двенадцатимесячном цикле. Вместо этого она сначала применяет обычное десятичное сложение: август внутренне кодируется как месяц номер 8, затем вычисляется 6 + 8 = 14, и только после этого результат 14 переводится обратно в «февраль» через 14 = 12 + 2, где февраль, второй месяц. Модель на основе Llama использует ту же стратегию не только для месяцев, но и для дней недели и времени на часах, то есть применяет единую общую вычислительную стратегию к разным типам задач без явного указания так делать.

Академические исследователи вроде Айкарда могут экспериментировать только с открытыми моделями, такими как Llama от Meta и OLMo от Allen Institute for AI, вмешиваясь напрямую в веса и активации сети; крупнейшие использованные модели содержат около 10 миллиардов параметров. Доступа к коммерческим моделям у них нет, но, по словам Айкарда, у Anthropic и Google DeepMind есть команды, работающие над механистической интерпретируемостью больших языковых моделей, и его группа регулярно общается с обеими.

Исследователи рассчитывают, что механистическая интерпретируемость поможет сделать языковые модели безопаснее, надёжнее и эффективнее, а также снизить нежелательные искажения (bias). Айкард считает эти перспективы реалистичными по всем направлениям, но отмечает нерешённые проблемы: масштабирование методов на более крупные модели и автоматизацию тех частей процесса интерпретации, которые пока сильно зависят от человеческой интуиции. По его словам, механистическая интерпретируемость вряд ли когда-нибудь сведёт языковые модели к нескольким простым уравнениям, но может постепенно превратить глубокие нейросети в системы, чьи скрытые алгоритмы получится хотя бы частично понять.

Ключевые факты

Томас Айкард (Стэнфорд) с соавторами формализует через теорию причинности («каузальную абстракцию»), что значит для нейросети реализовывать алгоритм рассуждения на высоком уровне абстракции
В исследовании 2021 года (Айкард, аспирант Аттикус Гейгер) показано, что модель на основе BERT внутри строит логический вывод с кванторами и отрицанием
Статья Goodfire AI «Arithmetic in the Wild» вскрыла, что модель Llama считает циклические понятия (месяцы, дни недели, время) через десятичную арифметику: например, август+6 = 8+6=14, затем 14=12+2 → февраль
Академические исследователи ограничены открытыми моделями (Llama, OLMo) до ~10 млрд параметров; у Anthropic и Google DeepMind есть свои команды по интерпретируемости, с которыми группа Айкарда на связи
Главные нерешённые задачи, масштабирование методов на крупные модели и автоматизация анализа, пока сильно зависящего от человеческой интуиции

Почему это важно

Языковые модели остаются чёрным ящиком: инженерия, обучение всё более мощных систем, обогнала науку об их устройстве. Работа Айкарда переводит вопрос «рассуждает ли модель на самом деле или просто имитирует рассуждение» из области интуиции в область строгой теории: аппарат каузальной абстракции даёт формальный критерий, когда поведение нейросети действительно соответствует конкретному алгоритму на понятном человеку уровне (логика, арифметика, категории), а не просто выглядит похожим на него.

Кому это важно

Прежде всего, исследователям безопасности и надёжности ИИ и командам механистической интерпретируемости внутри крупных лабораторий: Айкард прямо называет группы в Anthropic и Google DeepMind, с которыми его команда регулярно контактирует. Также это касается академических исследователей когнитивной науки, лингвистики и логики, которые получают общий язык для описания внутренних вычислений моделей, и разработчиков, заинтересованных в снижении предвзятости и повышении эффективности систем.

Как это применить

Метод уже дал конкретный результат: статья Goodfire AI «Arithmetic in the Wild» показала на модели Llama, как выявлять реальный внутренний алгоритм модели через вмешательство в веса и активации, на примере вычисления циклических величин (месяцев, дней недели, времени) через скрытое десятичное сложение с последующим приведением по модулю. Такой подход к «вскрытию» модели путём целенаправленного вмешательства в её внутренние представления и проверки гипотез о промежуточных вычислениях воспроизводим и на других открытых моделях вроде OLMo.

Можно ли доверять

Ключевые результаты опубликованы и прошли через академический процесс: исследование 2021 года о BERT и логическом выводе, а также статья Goodfire AI об арифметике в Llama. Оговорка существенная: академические группы работают только с открытыми моделями до примерно 10 млрд параметров и не имеют доступа к коммерческим системам, поэтому напрямую перенести выводы на крупнейшие модели вроде GPT или Claude нельзя, известно лишь со слов Айкарда, что похожие внутренние команды есть у Anthropic и Google DeepMind, но их результаты не опубликованы.

Риски и подводные камни

Сам Айкард предупреждает: механистическая интерпретируемость вряд ли когда-либо сведёт языковые модели к нескольким простым уравнениям, нейроны часто одновременно участвуют в разных функциях, и абстракция на практике оказывается намного сложнее аналогии с идеальным газом. Остаются нерешёнными масштабирование техник на модели куда крупнее исследованных 10-миллиардных и автоматизация процесса анализа, который пока требует ручной работы и человеческой интуиции на каждом шаге.

«Механистическая интерпретируемость, вероятно, никогда не сведёт большие языковые модели к нескольким простым уравнениям, но она может постепенно превратить глубокие нейросети в системы, чьи скрытые алгоритмы удастся хотя бы частично понять.»

— Томас Айкард, профессор философии и информатики, Стэнфордский университет