Сан-Франциско потребовал от Apple и Google удалить ИИ-приложения «раздевания» людей
Городской прокурор Сан-Франциско Дэвид Чиу в четверг направил Apple и Google официальные требования (cease-and-desist letters) удалить из их магазинов приложений 13 сервисов «замены лиц», которые позволяют создавать несогласованные обнажённые изображения людей с помощью ИИ: восемь приложений, из App Store, пять, из Google Play. В письмах говорится, что компании фактически «пособничают» продаже откровенных дипфейков и должны разорвать деловые отношения с разработчиками таких приложений.
Чиу заявил Wired, что создание несогласованных интимных изображений незаконно, вредно и абсолютно неприемлемо. По его данным, Apple и Google, вероятно, заработали миллионы долларов на комиссиях с покупок внутри таких приложений, и офис прокурора требует, чтобы компании улучшили модерацию и не допускали появления подобных сервисов в магазинах впредь. Ранее офис Чиу уже добивался блокировки 16 популярных сайтов с дипфейками. Законы Калифорнии запрещают поддержку сервисов, создающих порнографические дипфейки.
Один из приложений с более чем миллионом загрузок на сайте демонстрировал более десятка стилей генерации изображений с сексуализированным содержанием; другое обещало «бесплатные и нецензурированные» видео. Wired не называет конкретные приложения, чтобы не привлекать к ним внимание. По словам Чиу, такие изображения используют для травли, унижения и запугивания женщин и девушек, а некоторые жертвы доходили до суицидальных мыслей.
Google заявила, что удалила «сотни» приложений с функцией «раздевания» за нарушение политики, включая все пять приложений, указанных прокуратурой, и ограничила поиск по слову «nudify» в своём магазине. Apple сообщила, что уже удалила три из указанных приложений и начала процесс закрытия аккаунтов их разработчиков; ещё четырём разработчикам предписано устранить нарушения либо тоже лишиться доступа к магазину. Обе компании имеют правила, запрещающие порнографию и харассмент, и ранее уже удаляли десятки подобных приложений после сообщений исследователей и журналистов.
Проблема не нова: за последние пять лет онлайн сложилась прибыльная индустрия ИИ-«раздевания», самый заметный случай произошёл в январе, когда для создания миллионов сексуализированных изображений использовался чат-бот Grok компании xAI. Независимая организация Tech Transparency Project в двух отчётах (январь и апрель) обнаружила около 100 подобных приложений в App Store и Google Play суммарно с примерно 480 миллионами загрузок и оценочной выручкой около 120 миллионов долларов. По словам директора организации Кэти Пол, после первого отчёта ситуация не улучшилась, а после второго стала не менее, если не более острой.
В препринте исследования, опубликованном в мае учёными Корнеллского и Джорджтаунского университетов, было выявлено 420 приложений «замены лиц» в App Store и Google Play; из 155 протестированных в 70% случаев приложение позволяло создать обнажённое изображение через замену лица, не имея защитных механизмов против этого. Авторы отмечают, что ни одно из таких приложений не рекламируется как средство «раздевания», они маскируются под безобидные инструменты замены лица и таким образом обходят модерацию платформ, оставаясь фактически приложениями двойного назначения. Ранее расследования Wired и Indicator Media выявили случаи создания сексуализированных дипфейков несовершеннолетних минимум в 90 школах.
Чиу заявил, что его офис продолжит заниматься этой проблемой, назвав масштаб и вред технологии «абсолютно ужасающими». Он надеется, что Apple и Google оперативно удалят указанные приложения и усилят проверку новых, но если компании не отреагируют добровольно, прокуратура рассмотрит все доступные юридические меры.
Ключевые факты
- Городской прокурор Сан-Франциско Дэвид Чиу потребовал от Apple и Google удалить 13 приложений «замены лиц» (8 из App Store, 5 из Google Play), создающих несогласованные обнажённые изображения людей.
- Прокуратура утверждает, что компании заработали миллионы долларов на комиссиях с таких приложений, и требует прекратить деловые отношения с их разработчиками.
- Google сообщила, что удалила «сотни» подобных приложений и ограничила поиск по слову «nudify»; Apple удалила три из указанных приложений и начала закрытие аккаунтов разработчиков, ещё четырём дан срок на исправление.
- Исследование Tech Transparency Project нашло около 100 таких приложений с ~480 млн загрузок и ~120 млн долларов выручки; исследование Корнелла и Джорджтауна показало, что 70% из 155 протестированных приложений «замены лиц» позволяют создавать обнажённые дипфейки.
- В январе чат-бот Grok компании xAI использовался для создания миллионов сексуализированных изображений; расследования выявили случаи дипфейков несовершеннолетних минимум в 90 школах.
Почему это важно
Это редкий случай, когда городская прокуратура в США напрямую и публично потребовала от Apple и Google удалить конкретные приложения и разорвать отношения с их разработчиками, а не ограничилась общими претензиями к модерации. Иск демонстрирует, что существующие правила магазинов приложений (запрет порнографии и харассмента) на практике не останавливают распространение ИИ-инструментов для создания несогласованных обнажённых изображений, несмотря на то что обе компании формально запрещают такой контент.
Кому это важно
Прежде всего, женщинам и девушкам, которые становятся жертвами таких приложений, и родителям несовершеннолетних: расследования уже находили случаи дипфейков в отношении школьников минимум в 90 школах. Также это важно для команд модерации Apple и Google, для регуляторов и юристов, которые работают над законами против дипфейк-порнографии, и для разработчиков приложений «замены лиц», которые рискуют попасть под удаление за использование их технологии не по назначению.
Как это применить
Пользователям стоит осторожнее относиться к приложениям «замены лиц» и подобным сервисам, часть из них рекламируется как безобидный инструмент, но на деле позволяет создавать обнажённые изображения без согласия. Apple и Google призывают сообщать о подозрительных приложениях через встроенные инструменты жалоб в магазинах. Разработчикам и платформам история сигнализирует: даже формально «дозволенная» функциональность (замена лица) может быть признана нарушением, если её реально используют для создания дипфейк-порнографии.
Можно ли доверять
Материал Wired основан на официальных документах, письмах-требованиях (cease-and-desist), которые издание видело напрямую, и на комментариях всех сторон: городского прокурора Дэвида Чиу, официальных представителей Apple и Google, а также независимых исследователей из Tech Transparency Project и учёных Корнеллского и Джорджтаунского университетов. Цифры о загрузках и выручке приведены со ссылкой на конкретные отчёты, а не как оценка самого издания, что повышает доверие к материалу.
Риски и подводные камни
Ключевая сложность, большинство подобных приложений формально не позиционируют себя как средства «раздевания», а маскируются под обычные инструменты замены лица, из-за чего автоматическая модерация магазинов приложений их не отсеивает. Даже после удаления указанных 13 приложений на смену им, судя по масштабам прошлых расследований (сотни приложений, сотни миллионов загрузок), скорее всего придут новые. Требования прокуратуры пока не подкреплены судебным иском, если Apple и Google не отреагируют добровольно, реальное принуждение потребует отдельного судебного разбирательства с неопределённым исходом.
«Это касается репутации, психического здоровья, потери автономии человека. Были жертвы, которые доходили до суицидальных мыслей.»
— Дэвид Чиу, городской прокурор Сан-Франциско