ИИтог

OpenAI, Google, Microsoft и Anthropic поддержали общий сигнал отказа от ИИ-обучения в robots.txt

инфраструктураРедакция ИИтогThe Verge🔥68Рейтинг ИИтог68Влияние60Новизна65Релевантность90Неожиданность40Участники88Достоверность75
OpenAI, Google, Microsoft и Anthropic поддержали общий сигнал отказа от ИИ-обучения в robots.txt

OpenAI, Google, Microsoft и Anthropic заявили, что внедрят новый стандарт, с помощью которого издатели смогут отказаться от сбора своих сайтов нейросетями. Об этом сначала сообщил Search Engine Roundtable, а The Verge пересказал новость. Главное новшество: издатель может задать свои предпочтения по обучению ИИ сразу для нескольких ИИ-компаний, а не настраивать их по отдельности. Сейчас, как пишет The Verge, сайты вынуждены сообщать о таких предпочтениях каждой компании отдельно.

Общий сигнал называется «policy token». Его в рамках Инженерного совета интернета (IETF) предложил Кевин Келли (Kevin Kelley), технический лидер по стандартам в Anthropic. Сигнал будет размещаться в файле robots.txt, который давно используется, чтобы показывать, каким веб-краулерам (программам-обходчикам) можно, а каким нельзя собирать данные сайта: для поискового индексирования, архивации или обучения ИИ.

OpenAI, Google, Microsoft и Anthropic говорят, что ограничат доступ своих ИИ-краулеров к сайту, если встретят этот общий токен. Руководитель коммуникаций Meta Энди Стоун (Andy Stone) тоже выразил поддержку новой настройке, но не сказал, будет ли компания её соблюдать. По его словам, «создание общего сигнала, который передаёт такие предпочтения сразу нескольким провайдерам, важный шаг», и Meta рассчитывает работать с другими ИИ-компаниями над стандартами и их внедрением в отрасли. Комментарий Meta добавлен в материал обновлением от 30 октября.

Microsoft сообщает, что предложит гибкие настройки, позволяющие издателям отказаться от обучения ИИ или от «заземления» ИИ (AI grounding), подключения модели к проверенному источнику информации, чтобы снизить число галлюцинаций. При этом, как отмечает Microsoft, сайты в любом случае будут отображаться в поисковой выдаче Bing независимо от выбранных предпочтений. Google, по данным The Verge, ранее уже ввела похожие настройки: сайты могут управлять тем, появляется ли их контент в ИИ-функциях поиска или используется для обучения ИИ, без влияния на видимость в поиске.

Сроки разные. Anthropic уже приняла сигнал, Google и Microsoft планируют поддержать его в следующем году, а OpenAI обещает внедрить его «в ближайшие месяцы».

Новость появилась на фоне того, что издатели сталкиваются с постоянным потоком ИИ-краулеров, которые собирают их сайты и скармливают контент моделям. Против несанкционированного сбора уже есть другие попытки: стандарт Really Simple Licensing (RSL) позволяет издателям брать плату с краулеров, а Cloudflare по умолчанию блокирует ИИ-краулеры.

Ключевые факты

  • OpenAI, Google, Microsoft и Anthropic заявили, что примут общий «policy token», сигнал в robots.txt, задающий предпочтения издателя по обучению ИИ сразу для нескольких компаний.
  • Идею в рамках IETF предложил Кевин Келли, технический лидер по стандартам в Anthropic; сейчас сайты должны сообщать предпочтения каждой ИИ-компании отдельно.
  • Если краулеры четырёх компаний встретят токен, они ограничат доступ к сайту; Anthropic уже поддерживает сигнал, Google и Microsoft планируют в следующем году, OpenAI обещает «в ближайшие месяцы».
  • Microsoft предложит отдельные настройки отказа от обучения ИИ и от «заземления» ИИ; в выдаче Bing сайты останутся независимо от настроек.
  • Meta в лице Энди Стоуна поддержала идею общего сигнала, но не сказала, будет ли соблюдать его.

Почему это важно

Сейчас издатель вынужден отдельно сообщать каждой ИИ-компании, можно ли использовать его сайт для обучения. Общий сигнал в robots.txt должен заменить это одной настройкой, а о поддержке заявили сразу четыре крупных разработчика ИИ. Это происходит на фоне растущего потока ИИ-краулеров и других попыток защитить контент: платных обращений по стандарту RSL и блокировки ИИ-краулеров по умолчанию у Cloudflare.

Кому это важно

Прежде всего издателям и владельцам сайтов, которые хотят управлять использованием своего контента для обучения нейросетей. Также разработчикам краулеров и ИИ-компаниям, которым придётся поддерживать новый сигнал, и тем, кто следит за стандартами веб-инфраструктуры и IETF.

Как это применить

Сигнал будет размещаться в файле robots.txt сайта. Технический синтаксис токена в источнике не приводится, поэтому владельцам сайтов стоит дождаться публикации спецификации. Сроки поддержки разные: Anthropic уже приняла сигнал, Google и Microsoft планируют сделать это в следующем году, OpenAI, в ближайшие месяцы. Microsoft обещает отдельные настройки отказа от обучения ИИ и от «заземления» ИИ, при этом сайт остаётся в результатах Bing.

Можно ли доверять

Материал опирается на заявления самих компаний, пересказанные The Verge, и на предыдущую публикацию Search Engine Roundtable. Предложение описано как исходящее от сотрудника Anthropic в рамках IETF; принятие или одобрение стандарта в IETF в тексте не упоминается. Это обещания внедрить сигнал, а не подтверждённая практика, кроме Anthropic, которая, по данным источника, уже его приняла.

Риски и подводные камни

Meta поддержку обозначила, но не сказала, будет ли соблюдать сигнал. Механизм принуждения и проверки соблюдения в источнике не описан, то есть всё держится на заявлениях компаний. Google и Microsoft планируют поддержку только в следующем году, OpenAI, в «ближайшие месяцы», так что единого срока работы сигнала нет.

«Мы считаем, что создание общего сигнала, который передаёт такие предпочтения сразу нескольким провайдерам, важный шаг.»

— Энди Стоун, руководитель коммуникаций Meta

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.