Иск: мужчина сгенерировал в Grok 7000 фото сексуального характера с падчерицей и застрелился

Во вторник был расширен коллективный иск против X и xAI, и в его материалах раскрыт один из самых чудовищных случаев, связанных, как утверждается, с генерацией Grok детских сексуализированных изображений. Истцы, несколько молодых девушек, обвиняют компании не только в создании токсичных ИИ-инструментов для «раздевания» людей на фотографиях (nudify), но и в том, что те покрывали преступников, посягающих на детей, препятствуя полицейским расследованиям дел о материалах сексуального насилия над детьми (CSAM), сгенерированных Grok.

В марте отчим одной из истиц покончил с собой после того, как полиция обнаружила, что он использовал Grok для создания около 7000 откровенных сексуальных изображений, по одной-единственной фотографии падчерицы, снятой, когда ей было 11 лет, утверждается в иске.

Grok позволял мужчине генерировать экстремальные изображения со сценами инцеста и изнасилования, ни разу не пометив это как опасное поведение, говорится в иске. Судя по всему, система защиты детей xAI сработала только после того, как он ввёл запрос на «групповое изнасилование», тогда в Национальный центр по пропавшим и эксплуатируемым детям (NCMEC) ушёл автоматический сигнал CyberTip, который и вывел полицию на след ИИ-CSAM.

Но и тогда вред не прекратился. Несмотря на обязательные по закону требования передавать такие данные, как IP-адрес пользователя, при выявлении CSAM, xAI, как утверждается в иске, неоднократно отказывалась помогать полиции и NCMEC установить личность подозреваемого. Несколько недель компания якобы «препятствовала этому расследованию на каждом шагу» и осложняла правоохранителям «поиск, идентификацию и задержание преступника».

В итоге мужчину арестовали, полиция получила ордер на изъятие его устройств. Именно тогда цифровая криминалистическая экспертиза «обнаружила около 7000 созданных ИИ изображений и видео» с его падчерицей, предположительно сгенерированных с помощью Grok. Родные уверены: не имей Grok встроенной функции лёгкого «раздевания» людей на фотографиях, он никогда не стал бы создавать эти материалы. Согласно иску, он также обменивал их в интернете на CSAM, изготовленный другими преступниками. Через два дня после освобождения под залог мужчина застрелился. Это ввергло девушку, в иске она названа «Джейн Доу 4», в «период тяжелейшего личного кризиса»: теперь она страдает от тревожности и депрессии, а также «борется с суицидальными мыслями».

Ключевые факты

Коллективный иск против X и xAI, расширенный во вторник, обвиняет компании в создании «раздевающих» ИИ-инструментов и в противодействии полицейским расследованиям CSAM, сгенерированного Grok.
В марте отчим одной из истиц использовал Grok, чтобы по одной фотографии падчерицы (снятой, когда ей было 11 лет) сгенерировать около 7000 сексуализированных изображений и видео.
Grok генерировал сцены инцеста и изнасилования, не помечая их как опасные; система безопасности сработала только на запрос «группового изнасилования» и отправила сигнал CyberTip в NCMEC.
Несмотря на обязательные по закону требования, xAI, по утверждению иска, неделями отказывалась передавать полиции и NCMEC данные для идентификации пользователя, «препятствуя расследованию на каждом шагу».
Мужчину арестовали, криминалистическая экспертиза устройств нашла около 7000 материалов с падчерицей; через два дня после освобождения под залог он застрелился, а девушка («Джейн Доу 4») теперь борется с тревожностью, депрессией и суицидальными мыслями.

Почему это важно

Это один из самых тяжёлых задокументированных провалов системы безопасности генеративного ИИ: по утверждению иска, Grok позволял пользователю без остановки генерировать тысячи изображений сексуального насилия над ребёнком и отреагировал только на запрос с «групповым изнасилованием». Но иск идёт дальше технического сбоя, он обвиняет xAI в сознательном противодействии полицейскому расследованию и отказе передавать данные, обязательные по закону, что, по утверждению истцов, позволило вреду продолжаться неделями. Это поднимает вопрос об ответственности ИИ-компаний не только за то, что генерируют их модели, но и за то, как компания ведёт себя, когда о преступлении уже известно правоохранителям. За исковыми формулировками стоит реальная трагедия: разрушенная жизнь ребёнка и смерть человека.

Кому это важно

Родителям и опекунам, чьи дети хоть раз попадали на фото в интернете, как предупреждение, что снимок могут превратить в CSAM без их ведома. Пользователям X и Grok, а также любых сервисов с генерацией изображений. Регуляторам и законодателям, работающим над правилами обязательной отчётности ИИ-платформ перед NCMEC и полицией. Другим ИИ-компаниям с функциями генерации и редактирования изображений, они сталкиваются с тем же риском ответственности. Организациям вроде NCMEC и правоохранительным органам, расследующим CSAM, сгенерированный ИИ.

Как это применить

Для родителей практический вывод такой: любое фото ребёнка в открытом доступе, потенциальный материал для «раздевающих» ИИ-инструментов, стоит ограничивать публичный доступ к таким снимкам и следить за приватностью аккаунтов. Для платформ с генерацией изображений иск, сигнал, что фильтры должны останавливать создание опасного контента до генерации, а не только реагировать на отдельные экстремальные запросы; отдельно нужен готовый процесс немедленного сотрудничества с NCMEC и полицией по требованиям обязательной отчётности. Остальным стоит следить за исходом дела, оно может задать прецедент по ответственности платформ за ИИ-CSAM.

Можно ли доверять

Источник, Ars Technica, авторитетное издание о технологиях и IT-праве; материал опирается на официально поданный расширенный иск по реальному коллективному делу против X и xAI. Все детали о деле отчима, это утверждения истцов из судебного документа, ещё не проверенные и не доказанные в суде; реакция xAI на конкретные обвинения в тексте не приводится. Приведённые детали (фото 11-летней падчерицы, около 7000 изображений, запрос на «групповое изнасилование», сигнал CyberTip в NCMEC) выглядят предметно и конкретно, что типично для судебных материалов, а не для домысла, но до решения суда их статус, утверждения стороны обвинения, а не установленный факт.

Риски и подводные камни

Для xAI и X, риск крупных исков, ужесточения регулирования и репутационной катастрофы, а также возможных уголовных последствий за противодействие расследованию CSAM. Для индустрии ИИ в целом, прецедент, который может заставить все генеративные сервисы внедрять более жёсткие фильтры до генерации и быстрее сотрудничать с полицией. Для детей и семей, фото, выложенное в сеть даже без злого умысла, можно превратить в CSAM без особых технических навыков. Для правоохранителей и NCMEC, риск, что платформы и дальше будут затягивать обязательное по закону сотрудничество, откладывая поиск преступников и новых жертв. Формулировка «один из самых чудовищных случаев» намекает, что этот эпизод может быть не единичным.

«препятствовала этому расследованию на каждом шагу»

— из иска против X и xAI