Ассистент Meta Muse создаёт профили на друзей и родных пользователя

Ассистент Meta Muse создаёт профили на друзей и родных пользователя

Новый персональный ассистент Meta под названием Muse стал вирусным хитом: его скачали миллионы людей (точной цифры в источнике нет), многие подключают его к банковским счетам, сообщениям и медицинским данным и поручают ему задачи. На этом фоне в последние дни несколько исследователей извлекли внутренние файлы Muse и выгрузили его рабочие инструкции. Об этом пишет WIRED в еженедельной рассылке Kernel Panic! (авторы, Lily Hay Newman и Matt Burgess).

Независимый исследователь безопасности ИИ Karan Joshi получил обширный набор инструкций и системных промптов обычным чатом: он, по сути, попросил Muse скопировать и показать собственные программные файлы. Свои находки он передал WIRED. Meta утверждает, что файлы изначально предполагались доступными ради прозрачности.

Одна из инструкций, судя по всему, велит Muse создавать «страницу для каждого человека в жизни пользователя». Этот почасовой процесс предполагает сбор данных о семье, партнёрах, друзьях, коллегах, «соавторах» и людях, за которыми пользователь «следит». Идея в том, что Muse использует свою «память» (структурированные текстовые файлы) для накопления сведений об отношениях и важных людях, а затем даёт советы: как улучшить конкретные отношения или куда сводить друга-кофемана на завтрак.

По документации Muse, страница может начинаться «скудной» и дополняться со временем; возможные разделы: Facts (факты), History (история), The relationship (отношения), In common (общее), Open threads (незавершённые темы) и Strengthening (укрепление). Инструкции Meta требуют опираться только на имеющиеся «свидетельства»: выдуманные детали хуже пустой страницы. В примерах, где человек живёт и чем занимается, повторяющиеся темы (переезд, общая цель накоплений), важные даты вроде дней рождения и годовщин, события прошлого («поездка в марте, разрешённая ссора, веха на прошлой неделе»). Также фиксируются детали отношений: насколько люди близки, на чём это держится, как они ведут себя друг с другом и в чём нуждаются сейчас. Раздел Strengthening предлагает поводы позвонить, памятные даты, темы, к которым стоит вернуться, и способы поддержать человека.

Joshi считает, что Meta хочет понимать отношения пользователя с реальными людьми: «Они пытаются знать вас как друг, а это, честно говоря, довольно жутко». Авторы рассылки замечают, что отслеживание социальной информации для чат-ботов не редкость (люди годами просят ChatGPT о советах по отношениям), но интересно, как устроен Muse с учётом истории Meta и её доступа к данным социальных сетей.

Meta описывает меры защиты. У каждого пользователя своя выделенная виртуальная машина с данными и контекстом, недоступная другим агентам и пользователям; память можно стереть, а внешние сервисы отключить в любой момент. Muse должен запрашивать подтверждение человека перед действиями вроде отправки письма или покупки, а в журнале аудита видны вся активность агента и его планы. Представитель Meta Daniel Roberts заявил WIRED, что для полезности агенту нужен контекст о пользователе и тех, с кем он общается, и Muse собирает его из публичной информации и того, чем пользователь решил поделиться.

Эксперты обеспокоены. Carissa Véliz, ассоциированный профессор Института этики ИИ при Оксфорде, отмечает: «Мы даём ИИ-системам гораздо больше информации о себе, чем получаем от них», причём речь не только о сказанном явно, но и о том, что они выводят (верно или неверно) и собирают из других источников. Miranda Bogen, директор лаборатории управления ИИ (AI Governance Lab) Центра демократии и технологий, говорит, что у Muse, по-видимому, больший упор на отношения и личные контакты, чем у систем конкурентов. Прозрачность и возможности редактирования у Muse есть, как и у других подобных инструментов, но ассистенты, по её словам, подталкивают людей делиться данными, а не удалять их.

Ключевые факты

  • Несколько исследователей извлекли внутренние инструкции Meta Muse; независимый исследователь Karan Joshi сделал это через обычный чат, попросив ассистента скопировать собственные файлы, и передал их WIRED.
  • По инструкциям, Muse, судя по всему, ведёт «страницу для каждого человека в жизни пользователя» (семья, партнёры, друзья, коллеги) в почасовом процессе; разделы: Facts, History, The relationship, In common, Open threads, Strengthening.
  • Meta говорит, что файлы были доступны намеренно ради прозрачности; у каждого пользователя своя виртуальная машина, память можно стереть, действия подтверждаются, есть журнал аудита.
  • Joshi называет задумку «довольно жуткой», Carissa Véliz и Miranda Bogen указывают на объём данных, которые ИИ-ассистенты получают о пользователях и их окружении.
  • Muse скачали миллионы людей; точной цифры источник не называет.

Почему это важно

Muse стал массовым продуктом: его скачали миллионы людей, часть из них подключает ассистента к банковским счетам, сообщениям и медицинским данным. Выгруженные инструкции показывают, как именно он устроен: помимо данных самого пользователя он, судя по всему, накапливает структурированные сведения о людях вокруг него, о тех, кто сам ассистенту ничего не передавал. Авторы рассылки подчёркивают, что память о социальных связях у чат-ботов в целом не новость, но интересно, как это устроено у компании с историей и огромным доступом к данным соцсетей.

Кому это важно

Пользователям Muse и людям из их окружения: страницы могут включать места жительства, работу, важные даты, историю отношений и оценку их близости. Также тем, кто занимается приватностью и регулированием ИИ-ассистентов, и разработчикам агентов с долговременной памятью: пример показывает, как выглядит «память об отношениях» на уровне системных инструкций.

Как это применить

Из описания Meta следуют доступные пользователю меры: стереть память или отключить внешние сервисы можно в любой момент, перед отправкой письма или покупкой Muse должен запрашивать подтверждение, а журнал аудита показывает активность агента и его планы. Прежде чем подключать к ассистенту банк, переписку или медицинские данные, стоит учитывать, что, по словам Miranda Bogen, такие инструменты побуждают делиться данными и мало способствуют их удалению.

Можно ли доверять

Материал, рассылка WIRED Kernel Panic!, основанная на инструкциях, которые извлекли исследователи; публично назван только Karan Joshi. Сама формулировка о страницах для каждого человека дана с оговоркой «судя по всему». Meta подтверждает, что файлы были намеренно доступны, и описывает меры защиты, но это её собственные заявления. Оценка «жутко», личное мнение Joshi. Источник не сообщает ни об утечках, ни о злоупотреблениях: речь о том, что описано в инструкциях.

Риски и подводные камни

Эксперты указывают на асимметрию: по словам Carissa Véliz, ИИ получает от нас гораздо больше информации, чем даёт, включая то, что выводит о нас верно или неверно, и то, что складывает из других источников. Miranda Bogen предупреждает, что широкий доступ к почте, календарям и финансовым организациям ведёт к «раздуванию» того, что ассистенты знают о пользователях. Источник не говорит, как долго хранятся страницы и как запускается почасовой процесс, а также не утверждает, что данные об отношениях используются для рекламы или передаются другим продуктам Meta.

«Они пытаются знать вас как друг, а это, честно говоря, довольно жутко.»

— Karan Joshi, независимый исследователь безопасности ИИ

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.