GitHub описала Rubicon, новое хранилище Git для ИИ-агентов

GitHub описала Rubicon, новое хранилище Git для ИИ-агентов

На конференции GitHub Universe компания анонсировала новую архитектуру хранения Git, а теперь в инженерном блоге подробно описала, как она устроена. По словам GitHub, в ходе внутреннего тестирования удалось показать работу 5000 одновременно работающих агентов над одним репозиторием: они отправляли 7200 пушей в секунду, а чтение при этом обслуживалось со стабильно низкой задержкой. Компания называет это фундаментом для поддержки агентной разработки для сотен миллионов разработчиков и подчёркивает, что систему строили «под» работающим GitHub.

Исходная мысль в том, что упорядочивать нужно очень малую часть записи. Объекты Git неизменяемы и именуются по содержимому, поэтому два автора могут сохранять их одновременно, ни о чём не договариваясь. Согласования требует только обновление ссылок (references), а оно крошечное по сравнению с самим пушем. Это позволяет независимо масштабировать то, что раньше было жёстко связано: хранение данных, обслуживание запросов и обслуживание репозиториев. Два принципа, заявленные в серии постов, минимизировать координацию и отделить хранилище от вычислений. Для разработчиков, по заверению GitHub, Git остаётся Git: пуш, получение изменений и ветки работают так же, с теми же защитами. В предыдущем посте серии GitHub писала о переносе 99,99999% репозиториев в Azure, ограничении кворума записи отдельными ссылками и запуске виртуальных реплик поверх Azure Blob Storage.

Почему это понадобилось. GitHub смотрит на масштаб по двум осям: горизонтальной (сколько разработчиков и агентов работает во многих репозиториях; здесь старые подходы, разделение арендаторов по инфраструктуре, изоляция и справедливое распределение трафика, маршрутизация с учётом нагрузки, переносятся в новую систему) и вертикальной (сколько работает над одним репозиторием). Требования шли в основном из вертикальной. Сегодня самые нагруженные репозитории на GitHub.com получают не более десятков записей в секунду, обычно короткими всплесками, но компания ожидает, что в течение года такие всплески станут устойчивой нагрузкой. Каждый пуш порождает цепочку чтений: запускается CI, системы развёртывания забирают новый коммит, другие агенты скачивают его для контекста. Для одного из репозиториев ежедневные запросы выросли примерно в 4 раза с марта по май, и рост с тех пор продолжается по экспоненте. Поэтому GitHub поставила цель, не очередное приращение, а минимум на два порядка больше масштаба.

Требования к одному репозиторию: тысячи записей в секунду; несколько узлов-писателей (индексация входящих пакетов и проверка связности объектов, самые затратные по процессору части записи, и один узел быстро упрётся в вычисления; распределение работы также повышает отказоустойчивость); минимальная задержка коммита, потому что агент ждёт каждый пуш; упорядоченная запись изменений по каждой ссылке с возможностью быстро выстроить порядок между ссылками; дешёвое чтение, когда ничего не менялось; независимое масштабирование каждого компонента.

Проект назвали Rubicon, по словам авторов, это отсылка к точке невозврата, которую индустрия прошла с агентной разработкой. Работа началась в мае 2026 года, сразу после первой миграции в Azure. Запросы клиентов Git, API и веб-интерфейса по-прежнему приходят в Spokes: он занимается маршрутизацией и балансировкой, обслуживает внутренний API для чтения и записи данных репозиториев и отвечает за размещение, изоляцию и справедливое распределение между арендаторами. Новым является только слой данных под ним. Spokes направляет запрос на одну из небольшой группы виртуальных реплик, назначенных репозиторию. Это единый парк одноразовых вычислительных узлов, которые обслуживают чтение, запись или и то и другое. Локальный диск реплики, лишь кеш, который можно пересобрать в любой момент; Spokes по возможности направляет трафик репозитория на те же реплики, чтобы кеш оставался тёплым, но корректность от этого не зависит. Если реплика пропала, остальные продолжают работать, а замена наполняет кеш по мере поступления трафика. Когда репозиторий нагружен, добавляют реплики. Отдельный парк узлов уплотнения (compaction) в фоне работает напрямую с Blob Storage и Ref-CAS: сливает пакеты репозитория и удаляет недостижимые объекты. На виртуальных репликах эта работа не выполняется, поэтому их процессор и память почти целиком уходят на запросы.

Долговременное состояние хранится в двух местах. Объекты Git в виде пакетов (packs) и вспомогательных данных для ускорения чтения лежат в Azure Blob Storage. Ссылки и список пакетов, составляющих репозиторий (манифест пакетов), лежат в отдельном реплицируемом журнале, который GitHub называет Ref-CAS («Reference Compare-and-Swap»). Запись: виртуальная реплика индексирует входящий пакет, загружает его в Blob Storage, затем фиксирует в Ref-CAS одну транзакцию, которая вносит пакет в манифест и обновляет ссылки; позже узел уплотнения сливает этот пакет с другими, чтобы чтение оставалось быстрым. Чтение: реплика сверяет с Ref-CAS версию ссылок, подтягивает нужные пакеты из Blob Storage в кеш и отдаёт данные оттуда.

Почему ссылки вынесли из Blob Storage. В объектном хранилище лежит почти всё долговременное: пакеты и индексы, ускорители чтения (мультипакетные индексы, битовые карты достижимости и др.), записи о ходе уплотнения и сборки мусора с арендами на задачи, кешированные ответы на частые запросы fetch, контрольные точки состояния ссылок (но не авторитетное состояние для обслуживания запросов). Эти данные пишутся один раз по уникальному ключу и не меняются. Ссылки, наоборот: небольшое состояние, за обновление которого одновременно соревнуется много записей. Первые прототипы показали пределы объектного хранилища. Первый подход, журнал упреждающей записи (write-ahead log) для всех ссылок, индексируемый одним блобом: каждое обновление, условная запись в этот блоб. Это корректно и дёшево на чтение, но одновременно может выполняться только одна условная запись, так что потолок, одна запись за круг обращения к блобу; даже с пакетной группировкой пушей получилась пропускная способность записи порядка нескольких сотен в секунду. Второй подход, разнести ссылки по нескольким сегментным блобам по хешу: записи в разные сегменты не ждут друг друга, но чтение должно проверять все сегменты и работает со скоростью самого медленного, а читают на порядки чаще, чем пишут. Ни один вариант не закрыл все требования, поэтому построили Ref-CAS, небольшую группу консенсуса, посвящённую только ссылкам.

Каждое обновление ссылки в Ref-CAS, это compare-and-swap (сравнение и подмена), зафиксированный кворумом. Транзакция блокирует только затрагиваемые ссылки, проверяет, что у каждой по-прежнему ожидаемое значение, и становится видимой, когда её записало большинство реплик журнала. Агенты в основном пушат в собственные ветки, поэтому большинство обновлений не конфликтует и реплицируется параллельно; если же два пуша обновляют одну ссылку, в журнал добавится только один. Каждый коммит получает порядковый номер записи в журнале (LSN), а версия репозитория, это LSN его последнего коммита. Чтение начинается с проверки этой версии.

Ключевые факты

  • GitHub описала новую архитектуру хранения Git (Rubicon): по внутреннему тестированию, 5000 одновременных агентов отправляли 7200 пушей в секунду в один репозиторий при стабильно низкой задержке чтения.
  • Объекты Git (пакеты) лежат в Azure Blob Storage, а ссылки и манифест пакетов, в отдельном реплицируемом журнале Ref-CAS; запросы обслуживают одноразовые виртуальные реплики, а фоновое уплотнение вынесено на отдельные узлы.
  • Сегодня самые нагруженные репозитории GitHub.com получают не более десятков записей в секунду всплесками; компания ожидает устойчивой такой нагрузки в течение года и поставила цель масштаба минимум на два порядка выше.
  • Прототипы на одном блобе дали лишь порядка сотен записей в секунду, а на нескольких сегментных блобах замедляли чтение, поэтому ссылки вынесли в Ref-CAS с кворумным compare-and-swap.
  • Для разработчиков интерфейс не меняется: GitHub заявляет, что пуш, получение изменений и ветки работают как раньше, с теми же защитами.

Почему это важно

GitHub, основная платформа для хранения кода, и компания объясняет, что агенты изменили картину нагрузки: репозиторий теперь получает параллельные записи круглосуточно, а каждая запись порождает лавину чтений (CI, развёртывание, другие агенты). Для одного репозитория ежедневные запросы выросли примерно в 4 раза с марта по май. Рассказ о Rubicon показывает, как крупнейший хостинг кода переделывает ядро хранения под такой профиль: упорядочивать только обновления ссылок, а неизменяемые объекты писать без согласования и держать в объектном хранилище.

Кому это важно

Инженерам инфраструктуры и распределённых систем, как разбор компромисса между объектным хранилищем и журналом консенсуса для небольшого, но конкурентного состояния. Командам, которые запускают много агентов на одном репозитории, как ориентир того, куда движется платформа. Тем, кто строит собственные системы хранения кода или версионируемых данных, как пример разделения хранения, обслуживания запросов и фонового обслуживания.

Как это применить

Напрямую внедрить Rubicon нельзя: это внутренняя архитектура GitHub, сроков и условий перевода репозиториев на неё пост не называет. Применимы идеи: хранить неизменяемые данные по ключам, зависящим от содержимого, в объектном хранилище; для малого горячего состояния (ссылки, манифест) использовать отдельный реплицируемый журнал с кворумной фиксацией; делать вычислительные узлы одноразовыми с кешем, который можно пересобрать; выносить уплотнение и сборку мусора на отдельный парк. Для разработчиков на GitHub ничего менять не нужно: компания заявляет, что работа с Git остаётся прежней.

Можно ли доверять

Источник, инженерный блог самого GitHub, то есть первоисточник, но с интересом автора показать свою работу в выгодном свете. Цифры 5000 агентов и 7200 пушей в секунду получены во внутреннем тестировании; подробностей о тестовом репозитории, оборудовании, нагрузке на чтение и конкретных значениях задержки в пересказанной части нет, а заявление о «стабильно низкой задержке» не подкреплено числами. Прогноз о том, что всплески станут устойчивой нагрузкой в течение года, ожидание GitHub, а не измерение. Сроков переноса всех репозиториев на новую архитектуру в тексте не названо.

Риски и подводные камни

Это демонстрация в тестах, а не подтверждённая производственная нагрузка: заявление о 7200 пушах в секунду не означает, что такой трафик уже обслуживается на GitHub.com. Новая схема добавляет отдельную службу консенсуса, через которую проходит каждое обновление ссылок и каждая проверка версии при чтении, так что её надёжность и задержка критичны; какой именно протокол консенсуса используется и сколько реплик в группе, не сказано. Сами прототипы показали, что при росте нагрузки на объектное хранилище приходится выбирать между задержкой записи и задержкой чтения. Наконец, часть заявлений (устойчивая нагрузка в течение года, цель на два порядка), прогнозы компании.

«Для разработчиков Git остаётся Git: они так же отправляют изменения, забирают их и работают с ветками, с теми же защитами.»

— GitHub, инженерный блог