Cloudflare расширила управление поисковыми, агентными и обучающими ботами

Cloudflare объявила новую схему управления автоматизированным ИИ-трафиком. Вместо общей категории «ИИ-боты» компания предлагает владельцам сайтов отдельно задавать правила для трёх сценариев: Search, сбор и индексирование материала для последующих ответов, Agent, работающий в реальном времени бот, который действует по поручению пользователя, и Training, сбор данных для обучения или дообучения модели. К агентам Cloudflare относит, в частности, ChatGPT-User и браузерных агентов Gemini или Claude, управляющих Chrome. Новые настройки доступны всем клиентам, включая бесплатный тариф.

С 15 сентября 2026 года для новых доменов, подключаемых к Cloudflare, на страницах с рекламой категории Agent и Training будут заблокированы по умолчанию; Search останется разрешённым. Если один робот совмещает поиск и обучение, правила будут применяться ко всем его ролям, причём решающим станет наиболее строгий режим. Поэтому Googlebot, Applebot и BingBot окажутся заблокированы у клиентов, запретивших обучение, если эти роботы совмещают поиск с обучением. До даты изменения владелец сайта сможет в настройках Security отказаться от нового режима для обучающих роботов, которые также используются для поиска.

Компания также запускает BotBase, доступную клиентам Enterprise Bot Management базу известных ботов и агентов в панели Cloudflare. В ней можно посмотреть классификацию проверенных ботов, отфильтровать трафик конкретного робота и скопировать его идентификатор для правил безопасности. Позже Cloudflare планирует превратить BotBase в центр управления известным автоматизированным контентом.

Отдельно Cloudflare вводит понятие допустимого использования контента: immediate, взаимодействовать без хранения и повторного использования, reference, индексировать, цитировать фрагменты и ставить ссылку, full, обобщать и воспроизводить. Эти уровни можно сочетать с классификацией бота. Компания тестирует в robots.txt сигнал use с теми же значениями; для клиентов с управляемым robots.txt к существующему сигналу search=yes, ai-train=no добавят use=reference. Это предпочтение владельца сайта, а не прямой технический блок. Cloudflare также начнёт отслеживать использование контента в BotBase: робот, нарушающий такие сигналы, потеряет статус Verified; роботы, воспроизводящие материал полностью, уже не могут получить этот статус.

Ключевые факты

Cloudflare разделила ИИ-трафик на поиск, агентов и обучение и дала всем клиентам отдельные настройки для этих категорий.
С 15 сентября 2026 года на рекламных страницах новых доменов по умолчанию заблокируют Agent и Training, но оставят разрешённым Search.
Для многоцелевых роботов, включая Googlebot, Applebot и BingBot, будет действовать наиболее строгое из правил, соответствующих их ролям.
В Enterprise Bot Management появилась BotBase: база известных ботов с классификацией, фильтрацией трафика и идентификаторами для правил безопасности.
Cloudflare тестирует сигнал use в robots.txt и три режима использования контента: без хранения, с индексированием и ссылкой либо с обобщением и воспроизведением.

Почему это важно

Один и тот же автоматизированный сервис может искать страницы, выполнять действие от имени человека и собирать данные для обучения. Cloudflare предлагает не сводить эти разные случаи к общему запрету, а управлять ими по отдельности. Новые настройки меняют и режим по умолчанию для новых доменов на страницах с рекламой.

Кому это важно

Владельцам сайтов на Cloudflare, особенно тем, кто зарабатывает на рекламных страницах или хочет сохранить поисковую видимость, но ограничить обучение моделей. Клиентам Enterprise Bot Management полезна BotBase, а операторам ботов важно разделять роботов по их назначениям: Cloudflare прямо рекомендует не совмещать поиск, агентные действия и обучение в одном роботе.

Как это применить

В панели Cloudflare можно задать отдельные правила для Search, Agent и Training. До 15 сентября 2026 года владелец домена может в разделе Security отключить предстоящее изменение для обучающих роботов, которые также сканируют сайт для поиска. Для управляемого robots.txt Cloudflare добавит предпочтение use=reference; его можно использовать как указание, что разрешены индексирование, короткие фрагменты и ссылка, но не более широкое использование.

Можно ли доверять

Это сообщение Cloudflare о собственных настройках и будущих правилах сети. Указанные даты, классификации, режимы по умолчанию и возможности BotBase приведены самой компанией. Сигнал use в robots.txt выражает предпочтение владельца сайта, а не создаёт блокировку сам по себе; соблюдение зависит от поведения робота.

Риски и подводные камни

Правило на многоцелевого робота применяется по всем его функциям и выбирает наиболее строгий результат. Поэтому запрет обучения может одновременно закрыть доступ Googlebot, Applebot или BingBot, если они классифицированы и как поисковые, и как обучающие. Блокировка Agent может также помешать сценариям, когда автоматический помощник посещает сайт по поручению пользователя. Для новых доменов особенно важно проверить настройки до изменения режима по умолчанию 15 сентября 2026 года.