Ассистент Meta Muse создаёт профили на друзей и родных пользователя

Новый персональный ассистент Meta под названием Muse стал вирусным хитом: его скачали миллионы людей (точной цифры в источнике нет), многие подключают его к банковским счетам, сообщениям и медицинским данным и поручают ему задачи. На этом фоне в последние дни несколько исследователей извлекли внутренние файлы Muse и выгрузили его рабочие инструкции. Об этом пишет WIRED в еженедельной рассылке Kernel Panic! (авторы, Lily Hay Newman и Matt Burgess).\n\nНезависимый исследователь безопасности ИИ Karan Joshi получил обширный набор инструкций и системных промптов обычным чатом: он, по сути, попросил Muse скопировать и показать собственные программные файлы. Свои находки он передал WIRED. Meta утверждает, что файлы изначально предполагались доступными ради прозрачности.\n\nОдна из инструкций, судя по всему, велит Muse создавать «страницу для каждого человека в жизни пользователя». Этот почасовой процесс предполагает сбор данных о семье, партнёрах, друзьях, коллегах, «соавторах» и людях, за которыми пользователь «следит». Идея в том, что Muse использует свою «память» (структурированные текстовые файлы) для накопления сведений об отношениях и важных людях, а затем даёт советы: как улучшить конкретные отношения или куда сводить друга-кофемана на завтрак.\n\nПо документации Muse, страница может начинаться «скудной» и дополняться со временем; возможные разделы: Facts (факты), History (история), The relationship (отношения), In common (общее), Open threads (незавершённые темы) и Strengthening (укрепление). Инструкции Meta требуют опираться только на имеющиеся «свидетельства»: выдуманные детали хуже пустой страницы. В примерах, где человек живёт и чем занимается, повторяющиеся темы (переезд, общая цель накоплений), важные даты вроде дней рождения и годовщин, события прошлого («поездка в марте, разрешённая ссора, веха на прошлой неделе»). Также фиксируются детали отношений: насколько люди близки, на чём это держится, как они ведут себя друг с другом и в чём нуждаются сейчас. Раздел Strengthening предлагает поводы позвонить, памятные даты, темы, к которым стоит вернуться, и способы поддержать человека.\n\nJoshi считает, что Meta хочет понимать отношения пользователя с реальными людьми: «Они пытаются знать вас как друг, а это, честно говоря, довольно жутко». Авторы рассылки замечают, что отслеживание социальной информации для чат-ботов не редкость (люди годами просят ChatGPT о советах по отношениям), но интересно, как устроен Muse с учётом истории Meta и её доступа к данным социальных сетей.\n\nMeta описывает меры защиты. У каждого пользователя своя выделенная виртуальная машина с данными и контекстом, недоступная другим агентам и пользователям; память можно стереть, а внешние сервисы отключить в любой момент. Muse должен запрашивать подтверждение человека перед действиями вроде отправки письма или покупки, а в журнале аудита видны вся активность агента и его планы. Представитель Meta Daniel Roberts заявил WIRED, что для полезности агенту нужен контекст о пользователе и тех, с кем он общается, и Muse собирает его из публичной информации и того, чем пользователь решил поделиться.\n\nЭксперты обеспокоены. Carissa Véliz, ассоциированный профессор Института этики ИИ при Оксфорде, отмечает: «Мы даём ИИ-системам гораздо больше информации о себе, чем получаем от них», причём речь не только о сказанном явно, но и о том, что они выводят (верно или неверно) и собирают из других источников. Miranda Bogen, директор лаборатории управления ИИ (AI Governance Lab) Центра демократии и технологий, говорит, что у Muse, по-видимому, больший упор на отношения и личные контакты, чем у систем конкурентов. Прозрачность и возможности редактирования у Muse есть, как и у других подобных инструментов, но ассистенты, по её словам, подталкивают людей делиться данными, а не удалять их.

Ключевые факты

Несколько исследователей извлекли внутренние инструкции Meta Muse; независимый исследователь Karan Joshi сделал это через обычный чат, попросив ассистента скопировать собственные файлы, и передал их WIRED.
По инструкциям, Muse, судя по всему, ведёт «страницу для каждого человека в жизни пользователя» (семья, партнёры, друзья, коллеги) в почасовом процессе; разделы: Facts, History, The relationship, In common, Open threads, Strengthening.
Meta говорит, что файлы были доступны намеренно ради прозрачности; у каждого пользователя своя виртуальная машина, память можно стереть, действия подтверждаются, есть журнал аудита.
Joshi называет задумку «довольно жуткой», Carissa Véliz и Miranda Bogen указывают на объём данных, которые ИИ-ассистенты получают о пользователях и их окружении.
Muse скачали миллионы людей; точной цифры источник не называет.

Почему это важно

Muse стал массовым продуктом: его скачали миллионы людей, часть из них подключает ассистента к банковским счетам, сообщениям и медицинским данным. Выгруженные инструкции показывают, как именно он устроен: помимо данных самого пользователя он, судя по всему, накапливает структурированные сведения о людях вокруг него, о тех, кто сам ассистенту ничего не передавал. Авторы рассылки подчёркивают, что память о социальных связях у чат-ботов в целом не новость, но интересно, как это устроено у компании с историей и огромным доступом к данным соцсетей.

Кому это важно

Пользователям Muse и людям из их окружения: страницы могут включать места жительства, работу, важные даты, историю отношений и оценку их близости. Также тем, кто занимается приватностью и регулированием ИИ-ассистентов, и разработчикам агентов с долговременной памятью: пример показывает, как выглядит «память об отношениях» на уровне системных инструкций.

Как это применить

Из описания Meta следуют доступные пользователю меры: стереть память или отключить внешние сервисы можно в любой момент, перед отправкой письма или покупкой Muse должен запрашивать подтверждение, а журнал аудита показывает активность агента и его планы. Прежде чем подключать к ассистенту банк, переписку или медицинские данные, стоит учитывать, что, по словам Miranda Bogen, такие инструменты побуждают делиться данными и мало способствуют их удалению.

Можно ли доверять

Материал, рассылка WIRED Kernel Panic!, основанная на инструкциях, которые извлекли исследователи; публично назван только Karan Joshi. Сама формулировка о страницах для каждого человека дана с оговоркой «судя по всему». Meta подтверждает, что файлы были намеренно доступны, и описывает меры защиты, но это её собственные заявления. Оценка «жутко», личное мнение Joshi. Источник не сообщает ни об утечках, ни о злоупотреблениях: речь о том, что описано в инструкциях.

Риски и подводные камни

Эксперты указывают на асимметрию: по словам Carissa Véliz, ИИ получает от нас гораздо больше информации, чем даёт, включая то, что выводит о нас верно или неверно, и то, что складывает из других источников. Miranda Bogen предупреждает, что широкий доступ к почте, календарям и финансовым организациям ведёт к «раздуванию» того, что ассистенты знают о пользователях. Источник не говорит, как долго хранятся страницы и как запускается почасовой процесс, а также не утверждает, что данные об отношениях используются для рекламы или передаются другим продуктам Meta.

«Они пытаются знать вас как друг, а это, честно говоря, довольно жутко.»

— Karan Joshi, независимый исследователь безопасности ИИ

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.