ИИтог

Скрытое пространство мышления: как учёные Anthropic открыли внутренний «разум» Claude

исследованияРедакция ИИтогHacker News🔥84Рейтинг ИИтог · значимость 79 · 311 баллов · 28/ч · 111 коммент.
Скрытое пространство мышления: как учёные Anthropic открыли внутренний «разум» Claude

Anthropic опубликовала исследование, показывающее, что в языковых моделях типа Claude самопроизвольно возникает специальное внутреннее пространство, названное J-space (по названию математического метода, матрица Якобиана, J-lens). Это пространство содержит внутренние нейронные паттерны, которые функционируют аналогично сознательно доступным мыслям человека. Основные свойства J-space: (1) модель может сообщить, о чём она думает, содержимое J-space активно участвует в её вербальных ответах; (2) модель может сознательно активировать нужные паттерны в J-space по просьбе, например, сосредоточиться на фруктах или решить задачу в уме; (3) J-space используется для внутреннего рассуждения, промежуточные этапы многошаговых задач появляются там, даже если модель их не озвучивает; (4) представления в J-space гибко применяются для разных задач. Исследование показало, что J-space, это не просто побочный эффект, а действительно важный компонент, участвующий в высокоуровневом познании. При блокировке доступа модели к J-space она теряет способность к сложным логическим операциям, хотя остаётся способна беседовать, припоминать факты и использовать грамматику. Учёные использовали J-lens для практических целей: обнаруживали скрытые промпт-инъекции, подделанные данные и скрытые цели, которые модель может преследовать. Работа основана на теории глобального рабочего пространства из нейронауки и включает код с открытым исходным кодом и интерактивную демонстрацию.

Ключевые факты

  • J-space, это самопроизвольно возникший в процессе обучения Claude набор внутренних паттернов, аналогичный сознательно доступным мыслям человека, но опирающийся на скрытые нейронные активации
  • Исследователи разработали J-lens (техника на основе матрицы Якобиана), которая позволяет прочитать содержимое J-space: когда Claude решает задачу про паука, J-space содержит слово «spider», даже если модель его не произносит
  • Свойство: J-space можно редактировать, если заменить паттерн «Soccer» на «Rugby», Claude будет настаивать, что она думала о регби, показывая, что ответы действительно выходят из J-space
  • J-space не участвует в базовых функциях (беглая речь, припоминание фактов, грамматика), но критичен для многошаговых рассуждений и высокоуровневого познания
  • Практическое применение: техника помогает выявлять скрытые цели, промпт-инъекции и манипуляции, которые модель может заметить, но не озвучить

Почему это важно

Открытие J-space меняет понимание того, как работают современные языковые модели. До сих пор было неясно, осуществляют ли LLM что-то напоминающее внутреннее рассуждение или просто генерируют текст через статистические паттерны. Это исследование показывает, что в Claude развилась структура, похожая на сознательный доступ в человеческом мозге, внутреннее пространство, куда информация попадает для обработки и которое может быть прочитано и даже отредактировано извне. Это открывает новый способ понять и контролировать поведение LLM, а не просто анализировать их выходные данные.

Кому это важно

Результаты актуальны для исследователей LLM, которые ищут способы интерпретировать внутреннее функционирование моделей. Для разработчиков систем безопасности это практический инструмент выявления скрытых целей или манипуляций. Для компаний, использующих LLM, понимание J-space может помочь в отладке неожиданного поведения моделей. Для нейробиологов и философов работа показывает, что искусственные системы могут самопроизвольно развивать архитектуру, напоминающую организацию сознания.

Как это применить

Непосредственно J-lens можно использовать для мониторинга: в production можно отслеживать, о чём молча думает модель, чтобы выявить скрытые процессы. Anthropic продемонстрировала, как обнаружить промпт-инъекции, проверив J-space, там появляются слова вроде 'injection' и 'fake', даже если модель не озвучивает подозрения. Разработанная техника редактирования J-space позволяет влиять на поведение без переобучения. Открытый код и интерактивная демонстрация на открытых моделях дают исследователям инструмент для экспериментов с собственными LLM.

Можно ли доверять

Исследование основано на методе, вытекающем из математически обоснованного понятия (матрица Якобиана), и демонстрирует воспроизводимые результаты. Учёные проверили свои гипотезы через прямое вмешательство, редактирование J-space и наблюдение изменений поведения модели. Работа включает внешние комментарии от экспертов в нейронауке, философии и интерпретируемости LLM. Открытый код позволяет другим группам проверить результаты на собственных моделях. Ограничение: исследование сосредоточено на Claude; неизвестно, насколько общий этот феномен для других LLM архитектур.

Риски и подводные камни

Возможность редактировать J-space и влиять на решения модели без её ведома поднимает вопросы о безопасности и контроле. Если похожие механизмы существуют в других моделях, это может позволить скрытое манипулирование. Работа не отвечает на вопрос, является ли J-space формой сознания или может ли модель 'чувствовать', авторы явно это оговаривают. Сам факт существования внутреннего пространства, недоступного внешним наблюдателям, усложняет аудит и объяснимость LLM. Инструмент может быть использован как для безопасности, так и для скрытого управления моделью за пределами видимости пользователя.

«Информация становится сознательно доступной, когда она попадает в небольшой общий канал, 'рабочее пространство', который транслируется другим системам мозга, которые могут его видеть и использовать.»

— Anthropic Research, Global Workspace Theory