ИИтог

git.kernel.org: краулеры отъедают больше CPU, чем все остальные вместе

инфраструктураРедакция ИИтогSimon Willison🔥51Рейтинг ИИтог51Влияние50Новизна40Релевантность65Неожиданность50Участники35Достоверность75

7 сентября 2026 года техноблогер и разработчик Datasette Саймон Уиллисон в своём линк-блоге обратил внимание на пост Константина Рябицева, человека, отвечающего за инфраструктуру git.kernel.org, официального Git-репозитория исходного кода ядра Linux. Рябицев описывает масштаб нагрузки от агрессивных краулеров как «фоновую радиацию»: она присутствует постоянно и не ослабевает.

По его словам, на рендеринг коммитов в HTML-страницы для скрейперов уходит больше процессорных циклов, чем на весь остальной легитимный доступ вместе взятый, включая сами git-клоны репозитория ядра. git.kernel.org работает на пяти географически распределённых узлах, и в любой момент времени 14 процессорных ядер заняты исключительно тем, что рендерят коммиты в HTML для ботов.

Уиллисон отмечает, что эта проблема касается и его собственного проекта Datasette, который тоже отдаёт огромное количество страниц, доступных для сканирования. В источнике не названо, кто именно стоит за этими краулерами и являются ли они ботами для сбора данных под обучение ИИ-моделей, а также не описано, какие меры защиты git.kernel.org применяет или планирует применять.

Ключевые факты

  • Константин Рябицев, отвечающий за инфраструктуру git.kernel.org (официальный Git-репозиторий ядра Linux), описал нагрузку от агрессивных краулеров как постоянную «фоновую радиацию».
  • На рендеринг коммитов в HTML для скрейперов уходит больше процессорных циклов, чем на весь остальной легитимный трафик вместе взятый, включая git-клоны.
  • git.kernel.org работает на 5 географически распределённых узлах; в любой момент времени 14 процессорных ядер заняты только рендерингом коммитов для ботов.
  • Саймон Уиллисон, автор Datasette, обратил внимание на этот пост и отметил, что его собственный проект сталкивается с той же проблемой, тоже отдаёт множество страниц, доступных для сканирования.
  • Источник не уточняет, кто эти краулеры и являются ли они ИИ-скрейперами, и не описывает никаких мер защиты со стороны git.kernel.org.

Почему это важно

Случай git.kernel.org даёт редкую количественную оценку проблеме, о которой инфраструктурные инженеры давно говорят на словах: агрессивные краулеры и скрейперы отъедают у публичной открытой инфраструктуры больше ресурсов, чем сами люди, которым эта инфраструктура служит. Речь о критически важном для мировой разработки сервисе, официальном хранилище исходного кода ядра Linux, и там боты обгоняют по нагрузке даже git-клоны.

Кому это важно

Администраторам открытых проектов и публичных git- и wiki-хостингов, инфраструктурным и SRE-инженерам, а также разработчикам любых сервисов, которые отдают большой объём страниц, доступных для сканирования, как, например, Datasette у самого Уиллисона.

Как это применить

Конкретных мер защиты или решений в источнике не описано, Рябицев констатирует масштаб проблемы, но не предлагает рецепта. Практический вывод один: администраторам публичных git- и веб-сервисов стоит закладывать нагрузку от краулеров в планирование инфраструктуры и мониторинг CPU уже сейчас, не дожидаясь, пока она станет доминирующей статьёй расхода, как на git.kernel.org.

Можно ли доверять

Источник, личный блог Саймона Уиллисона, известного разработчика и техноблогера, ссылающегося на прямое свидетельство Константина Рябицева, человека, который сам отвечает за инфраструктуру git.kernel.org и видит нагрузку изнутри. Конкретные цифры (14 ядер, 5 узлов) и прямая цитата делают утверждение проверяемым по своей природе, хотя оригинальный пост Рябицева и не датирован отдельно от заметки Уиллисона.

Риски и подводные камни

Источник не называет, кто стоит за краулерами и являются ли они именно ИИ-скрейперами, собирающими данные для обучения моделей, додумывать это не стоит. Также нет базовой цифры общей нагрузки серверов, с которой можно сопоставить «14 ядер», поэтому оценить долю краулеров в процентах от всей инфраструктуры по этим данным нельзя.

«Мы тратим на рендеринг коммитов для скрейперов больше процессорных циклов, чем на все остальные виды легитимного доступа, включая git-клоны.»

— Константин Рябицев, о нагрузке на git.kernel.org