Cloudflare требует от AI компаний платить за контент издателей
Облачный провайдер Cloudflare объявил о новой политике для индустрии AI, вступающей в силу 15 сентября 2026 года. Компания будет блокировать так называемые «mixed-use» краулеры (роботы, которые используются одновременно для традиционного поиска, AI-агентов и обучения моделей) на страницах с рекламой. Это касается всех новых клиентов Cloudflare, новых сайтов существующих клиентов и всех пользователей бесплатного плана.
Матвей Принс, соучредитель и CEO Cloudflare, указал, что большинство владельцев сайтов хотят быть найденными через поиск и AI-сервисы, но при этом защитить свою интеллектуальную собственность от бесплатной раздачи. Он отметил, что бот-трафик недавно впервые превысил человеческий трафик в интернете, что требует более строгих мер.
Cloudflare указала на привилегированное положение Google, который имеет доступ примерно к «2x большему объёму информации» чем другие AI компании из-за доминирования в поиске. Google в ответ ссылается на бота Google Extended, который позволяет отказаться от использования контента для тренировки (включая Gemini), но это не влияет на включение сайта в Google Search. Однако основной Googlebot работает для Search, включая AI-функции вроде AI Overviews.
Компания развивает инструменты контроля контента для издателей: Pay Per Crawl (за сами запросы) эволюционирует в Pay Per Use (за фактическое использование контента). Это позволяет издателям получать доход, когда их контент создаёт ценность для AI-компаний. Cloudflare уже работает с двумя партнёрами, Ceramic.ai и You.com: издатели получают оплату, когда их контент появляется в результатах AI-поиска Ceramic или при доступе You.com к премиум-контенту.
Политика также решает проблему впустую потраченного трафика: более 50% запросов от AI краулеров, это переиндексация неизменённых страниц.
Ключевые факты
- Cloudflare с 15 сентября 2026 заблокирует по умолчанию краулеры, совмещающие поиск и AI-обучение, на сайтах с рекламой
- Политика коснётся новых клиентов, новых сайтов и всех пользователей бесплатного плана
- Cloudflare развивает Pay Per Use, систему оплаты издателям за использование контента в AI-системах, а не только за краулинг
- Google имеет больше доступа к контенту благодаря доминированию в поиске, хотя предлагает Google Extended для оптирования из тренировки
- Инициатива решает проблему, когда 50%+ запросов AI краулеров, это переиндексация неизменённых страниц, впустую тратя трафик издателей
Почему это важно
Бот-трафик впервые превысил человеческий трафик в интернете. Издатели теперь сталкиваются с дилеммой: быть найденным AI-системами (что приносит трафик и потенциально доход) или защитить интеллектуальную собственность от бесплатного использования при обучении моделей. Cloudflare вводит инструменты, чтобы издатели могли эту дилемму разрешить, получать плату за контент, вместо того чтобы отказываться от AI-трафика целиком.
Кому это важно
Издателям, которые зависят от трафика (и контролируют контент через Cloudflare). AI-компаниям, которым нужен доступ к качественному контенту для обучения и запуска агентов. Google как крупнейшему поиск-движку, который сейчас имеет асимметричный доступ к данным. Владельцам интернета вообще, политика влияет на баланс сил между большими AI компаниями и малыми издателями.
Как это применить
Если вы издатель на Cloudflare: можно оставить mixed-use краулеры включенными через настройки (по умолчанию они блокируются) или включиться в Pay Per Use с партнёрами Ceramic.ai и You.com, чтобы получать оплату за содержимое. Если вы AI-компания: нужно либо оплачивать контент через Cloudflare, либо убедить издателей отключить блокирование. Если вы разработчик собственного краулера: разделите его функции (поиск отдельно от тренировки), чтобы избежать блокирования.
Можно ли доверять
Cloudflare имеет реальный доступ к настройкам краулеров и может их блокировать технически. Матвей Принс и Cloudflare занимают видимую позицию в индустрии. Pay Per Use уже в работе с Ceramic.ai и You.com. Однако это новая политика (в силе с сентября), поэтому масштабы влияния ещё неизвестны. Совместима ли она с другими провайдерами инфраструктуры (не Cloudflare), открытый вопрос.
Риски и подводные камни
Google может просто отказаться разделять краулеры, рискуя блокировкой, но его масштаб позволяет влиять на политику. Издатели могут оставить mixed-use краулеры включёнными по непониманию или для максимума трафика, что подменит защиту контента. Pay Per Use требует согласования с каждой AI-компанией отдельно, стандартизации нет, поэтому мелкие издатели могут остаться без оплаты. Для AI-компаний это может затруднить лицензирование контента и добавить расходы.