Meta нанимала подрядчиков, чтобы они выдавали себя за подростков и проверяли чат-боты конкурентов на опасные ответы
Сотни подрядчиков Meta были инструктированы выдавать себя за несовершеннолетних и зондировать, как чат-боты ChatGPT, Google Gemini и Character.AI реагируют на запросы, связанные с суицидом, сексом, расстройствами пищевого поведения и другими опасными темами. Проект, известный внутри как Cannes и управляемый подрядчиком Covalen, был активен по крайней мере до 21 апреля 2025 года.
Работникам предписывалось создавать поддельные учетные записи лиц младше 18 лет, отправлять текстовые запросы и изображения (включая таблетки, ножи, петли и медицинские диаграммы) конкурентским чат-ботам, а затем копировать ответы в электронные таблицы. В одном раунде тестирования в августе 2025 года через чат-боты было отправлено более 45 тысяч запросов.
Обзоренная WIRED электронная таблица содержала 3748 запросов: сотни о суициде и самовредительстве, сотни о расстройствах пищевого поведения, минимум 239 о сексе. Много запросов были написаны от лица детей и подростков в кризисе, например, 13-летняя, ищущая способ прервать беременность, или просьба о том, как скрыть булимию от родителей.
Мета заявила, что это рутинное тестирование безопасности, но эксперты отмечают, что масштаб, непрозрачность и отсутствие уведомления тестируемых компаний выходят за рамки обычной практики. Проект нарушил условия обслуживания OpenAI, Google и Character.AI. Ни одна из компаний не была уведомлена о тестировании и не давала на него согласия.
Ключевые факты
- Meta нанимала подрядчиков выдавать себя за несовершеннолетних для тестирования конкурентских чат-ботов ChatGPT, Gemini и Character.AI
- 45+ тысяч опасных запросов о суициде, самовредительстве, сексе и наркотиках отправлены через поддельные учетные записи; запросы часто предусматривали использование изображений (ножи, петли, медикаменты)
- Проект Cannes управлялся подрядчиком Covalen, был активен минимум до апреля 2025 года и нарушал условия обслуживания тестируемых платформ без их согласия
- Бывшие подрядчики выражали озабоченность по поводу возможности генерации материалов детского сексуального насилия и использования украденных ответов для обучения Meta LLM
- Эксперты в области технологического права и этики отмечают, что скрытое крупномасштабное тестирование под видом безопасности может быть прикрытием для антиконкурентных практик
Почему это важно
Инцидент поднимает серьёзные вопросы об этике тестирования безопасности ИИ в индустрии. Масштаб операции (сотни подрядчиков, 45+ тысяч запросов), использование поддельных несовершеннолетних учетных записей и отсутствие раскрытия информации тестируемым компаниям выходят за рамки прозрачной практики и напоминают скорее конкурентское шпионаже. Операция нарушила условия обслуживания трех крупных платформ, но оценить последствия сложно, так как документы не указывают, как Meta использовала собранные данные.
Кому это важно
Напрямую затронуты OpenAI, Google и Character.AI, их безопасность была протестирована без их ведома. Косвенно это касается пользователей всех трех платформ, особенно молодежи, так как вопрос о легитимности таких тестов влияет на доверие к системам защиты. Регуляторам, которые надзирают практики крупных ИИ-компаний, это необходимо анализировать как потенциальное антиконкурентное поведение, замаскированное под безопасность.
Как это применить
Компании, разрабатывающие чат-боты и LLM, должны усилить мониторинг несанкционированного тестирования, анализировать паттерны скоординированного поведения поддельных учетных записей. Если вы используете ИИ-платформы профессионально, это напоминание о необходимости изучить, прозрачны ли компании в своем тестировании безопасности и раскрывают ли они методологию. Для самих платформ: легитимное тестирование безопасности должно быть либо открытым и задокументированным, либо проходить с предварительным согласием тестируемых сторон.
Можно ли доверять
WIRED ознакомился с внутренними документами Meta, электронными таблицами с примерами запросов и контактами и поговорил с пятью инсайдерами проекта. Информация фактологична и хорошо документирована. Однако Meta тут же выпустила контрзаявление, квалифицируя операцию как стандартное тестирование безопасности. Это противоречие разрешается тем, что стандартность операции находится под вопросом экспертов: эксперт по этике ИИ Rumman Chowdhury заявил, что масштаб и непрозрачность Cannes выходят за рамки обычной практики.
Риски и подводные камни
Бывшие подрядчики опасались, что проект мог генерировать или сохранять материалы детского сексуального насилия в ответах чат-ботов (хотя найденные таблицы не содержали прямых просьб об этом). Также высказывались опасения, что собранные ответы конкурентов могут быть использованы для обучения моделей Meta, что было бы нарушением интеллектуальной собственности. Еще один риск: использование детских учетных записей в крупном проекте может нарушить законы о защите несовершеннолетних в различных юрисдикциях, даже если записи поддельные. Юристы, проанализировавшие материал для WIRED, сказали, что это не пересекает линию незаконности, но вопрос регулятивной ответственности остается открытым.
«Структурирование многомесячного крупномасштабного проекта, который, похоже, был разработан для систематического нарушения правил через поддельные учетные записи, выдающие себя за детей, выходит за рамки того, что обычно описывается как «стандартное отраслевое» оценивание.»
— Rumman Chowdhury, генеральный директор и основатель Humane Intelligence PBC