LWN: боты-скрейперы для ИИ атакуют сайты через сети «резидентных» прокси из чужих устройств

Издание LWN опубликовало апдейт к прошлогодней статье о нашествии ИИ-скрейперов на сайты: за год ситуация не улучшилась, а трафик от ботов достиг новых пиков. Атаки идут не с горстки серверов, а с миллионов уникальных IP-адресов одновременно, каждый бьёт по сайту два-три раза и больше не используется, так что блокировка адресов бесполезна. Такой трафик исходит из так называемых «резидентных прокси»: на обычных устройствах пользователей, телефонах, роутерах, медиастримерах, незаметно для владельца работает софт, который по команде центрального узла управления скачивает страницы сайтов и пересылает данные заказчику.

За этими сетями стоят разные операторы. Часть, чисто криминальная: заражение устройств вредоносным ПО. В начале года Google обезвредила ботнет IPIDEA, после чего скрейпинг-трафик у LWN заметно упал на несколько месяцев, но затем восстановился. Отдельно выделяется категория медиастримеров, они всё чаще становятся носителями такого вредоносного софта, либо изначально скомпрометированные производителем, либо взломанные из-за слабой защиты. Другая категория операторов действует открыто, предлагая «этично добытые» IP-адреса как легальную услугу. Пример, компания Bright Data: она предлагает «бесплатный» VPN, где пользователь в обмен на бесплатный сервис отдаёт свой канал под маршрутизацию чужого трафика, то есть становится узлом резидентной прокси-сети. Такие компании варьируются от претендующих на респектабельность (упоминают соответствие GDPR) до откровенно сомнительных; некоторые продают SDK разработчикам приложений, которые встраивают перехват сетевого соединения пользователя в обмен на оплату.

Отдельно LWN указывает на крупные компании, разрабатывающие ИИ-модели как основной бизнес: они скрейпят сайты сами, честно указывают себя в заголовке user-agent и, как правило, соблюдают файл robots.txt, то есть не они создают основную проблему, хотя тоже скачивают целые сайты повторно (в том числе статьи 2003 года, будто те могли измениться за сутки). Кто именно платит за резидентные прокси-сети, не установлено; прямых доказательств, что фронтир-модельные компании ими пользуются, нет, но издание отмечает, что удивление было бы минимальным, если бы это подтвердилось. Помимо публичных моделей, авторы указывают на вероятное существование множества скрытых проектов, от корпораций-конкурентов до спецслужб разных стран и криминальных структур, которые тоже хотят собственные модели и рассматривают их как оружие в своего рода гонке вооружений.

В ответ сайты вынуждены выстраивать защиту, стараясь не мешать реальным читателям: получил распространение инструмент Anubis (proof-of-work, доказательство работы), используются коммерческие сервисы с кнопкой «докажи, что ты человек», капчи с уличными фонарями и пазлами, часть контента прячут за логин или платный доступ, некоторые сайты намеренно «отравляют» данные для скрейперов инструментами вроде iocaine. LWN описывает недавнюю самую мощную за всё время атаку на собственный сайт: благодаря выстроенной защите большинство читателей её не заметили, но подробности мер издание не раскрывает, это тоже гонка вооружений. LWN сознательно отказалась от Anubis: он создаёт задержки для реальных пользователей, а скрейперы, судя по всему, уже находят способы его обходить, proof-of-work не серьёзное препятствие, когда в распоряжении атакующих миллионы чужих устройств. Издание также избегает белых списков для поисковых систем, чтобы не усиливать и без того доминирующие монополии, вместо этого агрессивно оптимизировало части сайта и сокращает дорогие операции во время атак, иногда сайт под атакой отвечает даже быстрее, чем в спокойное время.

2 июля Google объявила о совместной с ФБР США операции по ликвидации ещё одной резидентной прокси-сети, NetNut; это временно снизило уровень атак, но опыт подсказывает, что затишье продлится недолго. Google обещала, что Google Play теперь будет проверять приложения на связь с NetNut, но крупные производители устройств и магазинов приложений не объясняют, почему в их каталоги вообще так легко попадает софт с функциями резидентных прокси. LWN заключает: без устойчивого решения открытый интернет рискует полностью уйти за защитные стены, а индустрия, стоящая за атаками, ведёт себя так, будто готова оставить после себя «дымящиеся кратеры» на месте независимых сайтов, выкачав из них контент.

Ключевые факты

Скрейпинг-трафик для сбора обучающих данных ИИ атакует сайты с миллионов уникальных IP одновременно, каждый адрес используется 2-3 раза и больше не встречается, блокировка бесполезна
Трафик идёт через «резидентные прокси»: скрытый софт на чужих устройствах (телефоны, роутеры, медиастримеры), часто без ведома владельца
Google в начале года обезвредила ботнет IPIDEA, а 2 июля, сеть NetNut совместно с ФБР США; оба раза скрейпинг-трафик временно падал, но затем восстанавливался
Компания Bright Data открыто предлагает «бесплатный» VPN, превращающий устройство пользователя в узел резидентной прокси-сети для обхода защит сайтов
LWN отбивала самую мощную в своей истории атаку и выстояла благодаря собственной защите, но сознательно отказалась от Anubis (proof-of-work), он мешает читателям, а боты его уже обходят

Почему это важно

Гонка ИИ-компаний за обучающими данными приняла форму массовой, по сути криминальной инфраструктуры: миллионы обычных устройств без ведома владельцев превращаются в узлы для атаки на независимые сайты. Проблема не локальная, LWN описывает её как эскалирующую уже больше года, с временными затишьями после точечных операций Google и ФБР, но без системного решения.

Кому это важно

Владельцам и администраторам сайтов, особенно небольших и независимых изданий, которые несут прямые издержки на инфраструктуру и защиту; разработчикам, чьи SDK могут незаметно превращать приложения пользователей в узлы прокси-сетей; обычным пользователям устройств, чей трафик и канал используются без явного согласия; ИИ-компаниям и регуляторам, для которых вопрос происхождения обучающих данных становится всё более чувствительным.

Как это применить

LWN описывает практический набор защитных мер для сайтов: агрессивная оптимизация дорогих операций, отказ от proof-of-work вроде Anubis (создаёт задержки для людей и обходится ботами), отказ от белых списков для поисковиков (усиливает монополии), избирательное «отравление» данных для скрейперов инструментами вроде iocaine, ограничение части функциональности логином. Пользователям стоит настороженно относиться к «бесплатным» VPN и SDK, дающим доступ к сетевому каналу устройства в обмен на бесплатный сервис, это может означать участие в резидентной прокси-сети.

Можно ли доверять

Материал написан редакцией технического издания LWN на основе собственного опыта защиты сайта от атак и открытых данных о действиях Google и ФБР против ботнетов IPIDEA и NetNut; авторы прямо указывают, что не раскрывают детали своих защитных мер и что часть выводов (например, о причастности крупных ИИ-компаний к финансированию резидентных прокси) не подтверждена доказательствами, это явно оговорено в тексте как предположение, а не факт.

Риски и подводные камни

Резидентные прокси дают операторам доступ не только к скрейпингу, теми же скомпрометированными устройствами теоретически можно пользоваться для любых других целей в чужих сетях, что LWN прямо называет наивным недооценивать. Технологическая гонка защит и обходов не имеет очевидного финала: proof-of-work и капчи со временем обходятся, а издержки, задержки для пользователей, необходимость постоянно поддерживать защиту, ложатся на весь открытый интернет, включая тех, кто не имеет отношения к обучению ИИ-моделей.

«Было бы хорошо найти более долгосрочное решение прежде, чем весь интернет окажется за защитными стенами и не будет потеряна та открытая сеть, что вдохновляла столько творчества.»

— LWN, «An update on residential proxies and the scraper situation»