У языковых моделей нашли модульную архитектуру мозга, похожую на человеческую
Мозг человека устроен модульно: за язык, формальную логику, понимание чужих намерений и понимание физического мира отвечают разные, обособленные нейронные сети. Долго было неясно, обязательное ли это свойство любого работающего интеллекта или случайность биологической эволюции.
Чтобы это проверить, исследователи изучили, возникает ли похожая организация в языковых моделях, системах, обученных совершенно другим способом, безо всякой связи с биологией мозга. С помощью анализа внутренних цепочек модели они прогнали 46 задач, охватывающих четыре когнитивные области: язык, формальную логику, социальное мышление (понимание чужих мыслей и намерений) и физическое мышление (понимание устройства физического мира).
Результат: задачи из одной и той же когнитивной области задействуют у модели пересекающиеся группы нейронов, а задачи из разных областей, разные, обособленные группы. Иными словами, языковые модели самостоятельно выработали модульную архитектуру, которая по своей структуре повторяет организацию человеческого мозга.
Авторы делают осторожный вывод: то, что модульность независимо возникла и в мозге, и в нейросетях, обученных совсем другим способом, говорит в пользу того, что это не биологическая случайность, а, возможно, фундаментальное свойство интеллектуальных систем вообще.
Ключевые факты
- Мозг человека функционально модульный: отдельные сети отвечают за язык, формальную логику, социальное мышление и понимание физического мира
- Исследователи проверили, возникает ли похожая модульность у языковых моделей, систем, обученных совсем иначе, чем работает биологический мозг
- Анализ внутренних цепочек охватил 46 задач из четырёх когнитивных областей: язык, формальная логика, социальное мышление, физическое мышление
- Задачи из одной когнитивной области задействуют у модели пересекающиеся группы нейронов, а задачи из разных областей, разные, обособленные группы
- Совпадение модульной организации у мозга и нейросетей намекает, что модульность может быть фундаментальным свойством интеллекта, а не случайностью эволюции
Почему это важно
Мозг человека организован по модульному принципу: за язык, формальную логику, понимание чужих намерений и понимание физического мира отвечают разные, обособленные сети. До этой работы было неясно, обязательное ли это свойство любого интеллекта или случайность биологической эволюции. Исследование показывает, что языковые модели, системы, обученные совершенно другим способом, без всякой связи с биологией мозга, самостоятельно приходят к похожей модульной организации. Это говорит в пользу того, что модульность может быть не биологической случайностью, а общим принципом устройства интеллектуальных систем.
Кому это важно
Специалистам по интерпретируемости языковых моделей, тем, кто пытается понять внутреннее устройство ИИ-систем через анализ цепочек. Когнитивным нейробиологам и специалистам по науке о мозге, как повод сравнить организацию биологического и искусственного интеллекта. Разработчикам архитектур ИИ, которым важно понимать, возникает ли специализация нейронов сама по себе или её нужно закладывать намеренно.
Как это применить
Практических инструментов, цен или готовых продуктов источник не описывает, это фундаментальное исследование, а не релиз продукта. Практическая ценность в другом: если у языковых моделей есть устойчивые, отделимые друг от друга группы нейронов под конкретные когнитивные задачи, это открывает путь к более точной настройке и редактированию моделей, например, к работе с одной способностью модели без риска задеть остальные. Конкретной методики или инструментов для такой работы источник не приводит, только сам факт модульной организации.
Можно ли доверять
В тексте источника не указаны ни имена авторов, ни их институциональная принадлежность, ни статус публикации, нет сведений о рецензировании или журнале и конференции. Не названы конкретные модели, на которых проводился анализ, их размер или версия. Не приведено количественных показателей, степени или процента совпадения нейронов между задачами одной области, поэтому судить о силе эффекта по одному описанию нельзя. Формулировки в тексте осторожные («предполагает», «может быть»), и это тоже сигнал: сами авторы не выдают результат за окончательный.
Риски и подводные камни
Главный риск, заочно переносить понятия нейробиологии («сеть мозга», «специализация») на искусственные нейроны языковой модели: совпадение по принципу организации не обязательно означает совпадение по механизму вычислений. Без указания моделей и без количественных данных о степени пересечения нейронов результат сложно независимо оценить или воспроизвести. Само по себе пересечение нейронов на 46 задачах, это закономерность на конкретном наборе задач и моделей, а не доказательство того, что модульность неизбежно возникает в любой достаточно крупной нейросети.
«Конвергентное появление модульности в мозге и нейросетях говорит о том, что она может быть фундаментальным свойством интеллектуальных систем.»
— авторы работы