Cloudflare заменил блокировку всех ИИ-ботов на гибкий контроль по категориям
Cloudflare обновил инструменты управления доступом ботов на сайты. С июля 2024 года клиенты платформы могли одним кликом заблокировать всех ИИ-ботов. Теперь вместо глобальной блокировки появилась дифференцированная система с тремя категориями:
- Search, поисковые индексаторы (Googlebot и подобные)
- Training, боты, собирающие данные для обучения ИИ-моделей
- Agent, боты, действующие от имени пользователей (как ChatGPT, который получает доступ от вас)
С 15 сентября 2026 года боты категорий Training и Agent будут блокироваться по умолчанию на страницах с рекламой, логика в том, что реклама сигнализирует о желании сайта получить трафик от живых людей. Поисковые индексаторы останутся разрешены. Многоцелевые боты (вроде Googlebot, который и индексирует, и собирает данные) будут обрабатываться по самому строгому применимому правилу.
Для корпоративных клиентов Cloudflare запустила BotBase, поисковую базу всех известных ботов прямо в панели управления. В ней видна классификация каждого бота и как он использует контент: просто ссылается на страницы или полностью их воспроизводит.
Кроме того, изменились правила для проверенных ботов. Раньше всем верифицированным ботам автоматически разрешали доступ. Теперь категория бота определяет, получит ли он допуск, независимо от статуса верификации. Оператор бота должен доказать, что честно представляет себя и не злоупотребляет доступом.
Генеральный директор Cloudflare Мэтью Принс ранее критиковал Google за связывание поисковика с ИИ-сборщиком в одном боте. В июне 2026 года он отметил исторический момент: трафик ботов впервые превысил человеческий трафик в интернете (ранее Принс ожидал этого только к концу 2027-го). Новые инструменты позволяют операторам ботов разделять их по назначению и дают сайтам более тонкий контроль.
Ключевые факты
- Cloudflare перешёл от тотальной блокировки ботов на дифференцированный контроль с тремя категориями: поисковые индексаторы (Search), боты для обучения (Training) и боты-агенты (Agent).
- С 15 сентября 2026-го боты Training и Agent будут заблокированы по умолчанию на сайтах с рекламой; поисковые индексаторы остаются разрешены.
- Для enterprise-клиентов добавлена BotBase, база всех известных ботов с информацией об их классификации и способе использования контента.
- Проверенные боты больше не получают автоматический допуск, статус верификации больше не гарантирует доступ, доступ определяется категорией.
- Трафик ботов впервые превысил человеческий трафик в интернете (июнь 2026), что актуализирует проблему управления ботом-доступом для сайтов.
Почему это важно
Ботский трафик растёт быстрее человеческого и уже превысил его (июнь 2026). Без инструментов управления сайты не могут отличить поисковика от сборщика данных для конкурентов или отличить честного агента от паразита. Гибкий контроль позволяет владельцам сайтов сбалансировать видимость в поиске с защитой своих данных от финансово мотивированных сборщиков.
Кому это важно
Владельцам сайтов, могут теперь разделять политику для разных типов ботов вместо «всё или ничего». Операторам ботов (Google, OpenAI, Anthropic и прочие), система требует: вместо одного комбо-бота нужны отдельные, честно обозначенные инструменты. Разработчикам продуктов с ИИ, нужно проектировать ботов-агентов так, чтобы они честно идентифицировались.
Как это применить
Если вы владелец сайта на Cloudflare: в новых настройках сможете выбрать, какие типы ботов разрешить. Если на сайте реклама и вы не хотите, чтобы его переводили в обучающие датасеты, просто оставьте Training и Agent в заблокированном состоянии. Для многоцелевых ботов сработает самое строгое правило. Если вы оператор ИИ-бота: нужно заявлять (через User-Agent и другие сигналы) чётко, какой категории вы принадлежите, иначе рискуете попасть под блокировку.
Можно ли доверять
Cloudflare, проверенная инфраструктурная компания, решение базируется на открытых стандартах (User-Agent, HTTP-заголовки). Трёхуровневая система логична: Search, это закреплённая за компаниями практика, Training и Agent, новые категории, требующие контроля. Однако система зависит от честной идентификации ботов, что может быть неполным, если оператор бота скрывает свои намерения (скрывать можно в User-Agent и headers).
Риски и подводные камни
Боты могут скрывать идентичность и обходить категоризацию через поддельные User-Agent. Многоцелевые боты трудно классифицировать, и Cloudflare будет вынужден выбирать самое строгое правило, что может слишком широко блокировать. Граница между «поиском» и «обучением» нечёткая: Googlebot и его аналоги могут использовать индексируемые данные для обучения. Сайты с рекламой, которые захотят впустить обучающие боты, потеряют контроль над своими данными, но получат доступ к более шумным моделям. Неясно, как Cloudflare будет обновлять BotBase, вручную или автоматически, и как быстро закрывать новые ботов-паразитов.
«Трафик ботов впервые превысил человеческий трафик в интернете.»
— Мэтью Принс, генеральный директор Cloudflare (июнь 2026)