ИИтог

Google скрыла прямые ссылки в поиске, чтобы затруднить скрапинг

безопасностьРедакция ИИтогHacker News🔥76Рейтинг ИИтог76Влияние60Новизна62Релевантность82Неожиданность45Участники72Достоверность85
Google скрыла прямые ссылки в поиске, чтобы затруднить скрапинг

Блог сервиса Autom, который продаёт клиентам доступ к данным поисковой выдачи Google через API, описывает изменение в разметке результатов поиска Google. До сих пор адрес найденного сайта можно было увидеть прямо в HTML-коде страницы выдачи, либо как обычную прямую ссылку, либо, в более раннем варианте, через обёртку google.com/url?q=..., где адрес был читаем прямо в параметре запроса. Теперь Google переписывает такие ссылки в формат google.com/goto?url=..., и значение параметра url, не обычная кодировка адреса (это не base64), а собственный непрозрачный формат Google, похожий на внутренний идентификатор страницы в его поисковом индексе. Расшифровать этот параметр офлайн нельзя: настоящий адрес возвращается только в заголовке Location, когда браузер или скрипт обращается по самой ссылке /goto, и, по инструкции Autom, читать нужно именно этот заголовок, не переходя по редиректу дальше, на саму страницу назначения. При этом домен, favicon и указание источника на странице выдачи Google по-прежнему показывает, эти данные нужны для отрисовки самой выдачи, скрыт только кликабельный адрес.

По наблюдениям Autom, формат google.com/goto сначала появился на небольшой части выдачи, настолько небольшой, что чинить под него свой парсер сразу было рискованно: это могло сломать ответы для всех остальных клиентов ради редкого случая. К концу августа 2026 года паттерн стал устойчивым: для тех, кто вышел из аккаунта Google или пользуется приватным режимом браузера, ссылки в выдаче, «практически все» такого вида, пишет Autom. Изменение может ещё оставаться экспериментом, отмечает Autom, но оно уже не ограничено небольшой долей страниц выдачи. Распространяется ли новый формат и на поиск с активным аккаунтом Google, в материале не говорится, устойчивый паттерн описан только для вышедших из аккаунта и приватных сессий.

Autom связывает происходящее с более широкой политикой Google против автоматического сбора данных из выдачи, в первую очередь ИИ-краулерами и SEO-скрейперами, которые массово вытаскивают ссылки из HTML, чтобы строить на них собственные поисковые индексы. Это трактовка самого Autom, а не прямое заявление Google. Логика, которую приводит Autom: раньше скрейперу было достаточно один раз распарсить HTML, чтобы получить тысячи ссылок сразу; с google.com/goto на каждую ссылку нужен отдельный обратный запрос к Google, чтобы узнать реальный адрес, это медленнее, заметнее и, если один клиент подряд разворачивает сотни ссылок, даёт Google чёткий сигнал для блокировки. Autom упоминает это как продолжение более ранних мер Google: отказ от параметра &num=100 и усиление систем защиты от ботов BotGuard и SearchGuard.

Сам Autom уже обновил свой конвейер обработки выдачи Google: сервис сам обращается по ссылкам google.com/goto, читает их заголовок Location, не переходя по редиректу дальше, и возвращает клиентам конечный адрес сайта в тех же полях API-ответа, что использовались раньше. По словам Autom, те, кто пользуется его поисковыми эндпоинтами, должны продолжать получать рабочие адреса без изменений на своей стороне; сервис обещает и дальше следить за тем, как Google меняет формат редиректа, и подстраивать под это свою обработку.

Ключевые факты

  • Google переписывает ссылки на сайты в результатах поиска в формат google.com/goto?url=... вместо прямого адреса в HTML; раньше также использовалась читаемая обёртка google.com/url?q=...
  • Значение параметра url, собственная непрозрачная кодировка Google (это не base64); реальный адрес отдаётся только в заголовке Location при обращении к ссылке /goto, без перехода по редиректу дальше.
  • К концу августа 2026 года для вышедших из аккаунта Google и приватного режима браузера такие ссылки, «практически все» результаты поиска, по данным Autom; распространение на залогиненные сессии в материале не описано.
  • По трактовке Autom, это часть политики Google против автоматического сбора выдачи ИИ-краулерами и SEO-скрейперами, наряду с более ранним отказом от параметра &num=100 и усилением защиты BotGuard/SearchGuard; прямого подтверждения от Google в материале нет.
  • Сервис Autom, который продаёт доступ к данным поиска Google через API, уже обновил свой конвейер: сам читает заголовок Location по ссылкам google.com/goto и возвращает клиентам конечный адрес в прежнем формате API-ответа.

Почему это важно

Раньше конечный адрес сайта в поисковой выдаче Google лежал прямо в HTML-коде страницы: скрейперу хватало один раз распарсить разметку, чтобы получить тысячи ссылок и сразу пойти строить на них собственный индекс. Формат google.com/goto меняет это устройство: чтобы узнать реальный адрес каждого результата, нужен отдельный обратный запрос к Google, а значит любой автоматический сбор данных из поиска Google становится медленнее, заметнее и дороже. По интерпретации Autom, это часть более широкой линии Google против массового извлечения данных из выдачи, источник ставит рядом и более ранний отказ от параметра &num=100, и усиление систем BotGuard и SearchGuard.

Кому это важно

В первую очередь, компаниям и разработчикам, которые программно читают результаты поиска Google в больших объёмах: сервисам SERP-данных вроде самого Autom, инструментам SEO-аналитики и позиционирования сайтов, а также ИИ-компаниям, которые собирают ссылки из выдачи, чтобы строить или пополнять собственные поисковые индексы. Обычному человеку, кликающему по ссылкам в браузере, изменение не видно, редирект на google.com/goto происходит прозрачно и добавляет лишь техническую прослойку между кликом и переходом на сайт.

Как это применить

Если нужно программно получать реальные адреса из выдачи Google, автоматический переход по клику не подойдёт: по инструкции Autom, для каждой ссылки google.com/goto нужно отдельно обратиться к ней (например, HEAD-запросом) и прочитать значение заголовка Location, не переходя по самому редиректу дальше на страницу назначения. Разбирать содержимое параметра url самостоятельно бессмысленно, оно не декодируется офлайн. Практическая альтернатива, пользоваться сервисом вроде Autom, который уже встроил такое разрешение ссылок в свой API и отдаёт клиентам готовый конечный адрес в прежнем формате ответа.

Можно ли доверять

Материал опубликован в блоге самого Autom, сервиса, который продаёт клиентам доступ к данным поисковой выдачи Google, и в конце текста прямо предлагает подписку на API. Раздел о причинах решения Google, прямая трактовка Autom, а не заявление или комментарий самой Google: официального подтверждения мотивов в материале нет. При этом техническое описание, как именно устроен редирект и что возвращает заголовок Location, не мнение, а проверяемое наблюдение: это можно повторить самостоятельно, отправив запрос к любой ссылке google.com/goto. Точных цифр, доли затронутых запросов, даты первого появления формата, источник не приводит, только качественные оценки («небольшая часть», «практически все»).

Риски и подводные камни

Для любого, кто читает выдачу Google программно, схема с google.com/goto означает отдельный дополнительный запрос на каждую ссылку сверх запроса самой выдачи и более заметный паттерн трафика: источник прямо указывает, что именно это даёт Google повод ограничивать таких клиентов. Неясно, распространяется ли новый формат на поиск с активным аккаунтом Google, устойчивый паттерн в материале описан только для вышедших из аккаунта и приватных сессий. Неясно и то, останется ли формат в нынешнем виде: сам Autom называет его возможным экспериментом и обещает подстраиваться, если Google снова изменит редирект, то есть любое решение, завязанное на текущий вид google.com/goto, стоит считать временным. Полагаться на стороннего провайдера вроде Autom для разрешения ссылок, тоже компромисс: лишняя точка отказа и зависимость от чужого сервиса.