xAI обвинили в обучении Grok на CSAM: иск подала жертва

Джейн Доу, псевдоним женщины, которую в начале 2000-х годов, когда она была ещё дошкольного возраста, неоднократно насиловали взрослые мужчины, чтобы снимать материалы о сексуальном насилии над детьми (CSAM) и продавать их педофилам в интернете. С тех пор её изображения занесены в базы данных таких организаций, как Национальный центр по пропавшим и эксплуатируемым детям (NCMEC) и Канадский центр защиты детей (CCCP): они «хешируют» файлы, чтобы отслеживать их дальнейшее распространение. Ради собственной безопасности Доу подписалась на оповещения Системы уведомления жертв Министерства юстиции США, та сообщает ей о каждом новом уголовном деле, где она может фигурировать как жертва.

Таких оповещений было немало, но одно, пришедшее от Канадского центра защиты детей, потрясло Доу особенно сильно: организация сообщила, что обнаружила на сервисах xAI сгенерированные ИИ CSAM-изображения, изображающие именно её. По её словам, это стало для неё новой травмой. В поданном в среду иске она также утверждает, что на онлайн-форумах были найдены переписки, в которых злоумышленники обсуждали создание подобных материалов с ней и другими известными жертвами, чьи материалы, как и её собственные, продолжают распространяться годами.

Доу опасается не только того, что xAI облегчила создание новых, травмирующих изображений на основе самого тяжёлого периода её жизни, но и того, что компания, по её утверждению, сохраняет изображения, которые генерирует Grok, и использует их для дальнейшего дообучения модели. Из-за этого она считает, что Grok обучался и на исходном массиве материалов, преследующем её больше 20 лет, и на новых, сгенерированных самим ИИ.

По данным издания, этот иск, не единственный сигнал вокруг xAI и CSAM: регуляторы и суды продолжают выяснять, насколько глубока проблема, а некоторых пользователей Grok уже арестовывали.

Ключевые факты

Джейн Доу (псевдоним) подала в среду иск против xAI, утверждая, что компания обучила Grok на материалах о сексуальном насилии над детьми (CSAM), включая её собственные.
В начале 2000-х Доу, тогда дошкольного возраста, неоднократно насиловали взрослые мужчины, чтобы снимать CSAM; с тех пор её изображения отслеживают NCMEC и Канадский центр защиты детей (CCCP).
CCCP уведомил Доу, что обнаружил на сервисах xAI сгенерированные ИИ CSAM-изображения с ней, это и стало поводом для иска.
По утверждению иска, xAI хранит изображения, которые генерирует Grok, и использует их для дальнейшего обучения модели, то есть Grok мог обучаться и на новых, ИИ-сгенерированных материалах.
На форумах злоумышленников, согласно иску, обсуждали создание CSAM с Доу и другими известными жертвами; проблему CSAM на xAI параллельно изучают регуляторы и суды, есть случаи арестов пользователей Grok.

Почему это важно

Обвинение, одно из самых тяжёлых, какие вообще можно предъявить генеративной ИИ-компании: истица утверждает, что Grok обучался на материалах о сексуальном насилии над детьми, включая её собственные, снятые ещё в начале 2000-х. Хуже того, по иску, xAI якобы сохраняет изображения, которые Grok генерирует сам, и использует их для дальнейшего дообучения, то есть речь о потенциально самоподдерживающемся цикле «генерация → сохранение → переобучение», а не о разовой утечке в обучающем датасете. Это происходит на фоне того, что регуляторы и суды уже разбираются, насколько широко распространена проблема CSAM вокруг Grok, а отдельных пользователей платформы ранее арестовывали.

Кому это важно

В первую очередь, компаниям, разрабатывающим генеративные модели изображений и видео: иск показывает, каким конкретно образом обучающие данные и модерация контента становятся источником юридического и репутационного риска. Важно регуляторам и правоохранительным органам, которые расследуют CSAM в контексте генеративного ИИ, специалистам по безопасности ИИ и модерации пользовательского контента, а также самим жертвам CSAM и организациям вроде NCMEC и Канадского центра защиты детей (CCCP), чья работа по хешированию и отслеживанию изображений, фактически единственный сегодня способ узнать о повторном использовании материалов.

Как это применить

Прямого продукта или цены здесь нет, но у истории есть практический вывод: для компаний с генеративными моделями изображений это довод в пользу независимого аудита обучающих данных, сверки входящего и генерируемого контента с хеш-базами вроде NCMEC/CCCP и явного запрета на дообучение модели на собственных сгенерированных выходах без верификации. Для жертв CSAM практический вывод другой, регистрация в системах вроде Системы уведомления жертв Минюста США и в хеш-базах NCMEC/CCCP остаётся едва ли не единственным способом вообще узнать о новом использовании своих материалов.

Можно ли доверять

Всё изложенное, утверждения из гражданского иска, поданного в среду, а не факты, установленные судом: степень вины xAI ещё предстоит доказать. В тексте источника нет ни ответа xAI, ни комментария Илона Маска, он упомянут только в заголовке материала, но не в самой статье; не названы ни суд или юрисдикция, где подан иск, ни точная календарная дата, ни требуемая компенсация, ни то, каким методом CCCP обнаружил изображения на сервисах xAI. Источник, Ars Technica, издание, которое давно и системно освещает модерацию и CSAM-скандалы в ИИ-индустрии.

Риски и подводные камни

Если утверждения иска подтвердятся, речь о редком и предельно тяжёлом провале в области безопасности ИИ, не просто о пропущенном модерацией изображении, а о цикле, в котором сгенерированный моделью контент возвращается в обучение. Для xAI и Grok это репутационные, регуляторные и потенциально уголовные последствия; для отрасли в целом, открытый вопрос, могут ли генеративные модели, обучаемые на массовых интернет-датасетах, вообще гарантированно исключить CSAM и не допустить его повторного попадания в обучение через собственные же генерации.

«между злоумышленниками, которые обсуждали создание сгенерированных ИИ CSAM-изображений истицы и других находящихся в похожем положении известных жертв CSAM, чьи материалы продолжают распространяться годами»

— из искового заявления Джейн Доу