Для bhyve на FreeBSD 15.1 показали первую живую миграцию виртуальных машин

Для bhyve на FreeBSD 15.1 показали первую живую миграцию виртуальных машин

Автор блога gyptazy представил первое рабочее состояние живой миграции (live migration) гостевых систем гипервизора bhyve на FreeBSD 15.1. Работающий гость amd64 переносится между двумя хостами по TCP и продолжает работать; приостанавливается он только на финальной фазе stop-and-copy (остановка и копирование остатка). Реализация опирается на экспериментальную поддержку снимков состояния (snapshot) в bhyve и добавляет отслеживание «грязных» страниц памяти в модуле ядра vmm, а также протокол миграции в bhyve и bhyvectl. Код и тестовые инструменты публикуются как WIP RFC (черновое предложение для обсуждения), чтобы следующие шаги определялись открыто.

Как это работает. Источник начинает с фазы предварительного копирования (pre-copy): отправляет заполненную память гостя, затем многократно получает битовую карту страниц, изменившихся с прошлого сканирования, и отправляет только их. Когда оставшийся набор изменённых страниц укладывается в заданную цель по простою, перестаёт уменьшаться или достигает заданного лимита раундов, bhyve приостанавливает гостя и его устройства и отправляет последние страницы и существующее состояние снимка: vCPU, ядра и эмулируемых устройств. Приёмник проверяет базовую геометрию ВМ, получает память и состояние, восстанавливает их и сообщает о готовности. Только после этого источник посылает GO, точку фиксации. До GO неудачную миграцию можно откатить, возобновив гостя на источнике; если приёмник не получил сообщение GO, он гостя не запускает. Есть и «тёплый» режим stop-and-copy, как запасной вариант и база для сравнения.

Что реализовано. Настраиваемый pre-copy (целевой простой и максимум раундов) и явный stop-and-copy. В протокол заложена передача числа vCPU: приёмник отказывает при несовпадении, а все vCPU гостя приостанавливаются и возобновляются при миграции; однако тестовый стенд в основном проверял гостя с одним vCPU, поэтому стресс- и гоночные тесты для нескольких vCPU ещё нужны. Согласованность памяти проверяется нагрузкой, которая переписывает и сверяет память гостя и фиксирует любую пропущенную или устаревшую страницу; для проверки использовались повторные миграции «туда-обратно». Запись на диск проверяется гостевой нагрузкой с fsync и контрольными суммами и повторной проверкой после холодной перезагрузки. Протестированы отказ приёмника, недоступная цель и исчезновение цели во время pre-copy и stop-and-copy. Перед передачей данных проверяются версия протокола, размер страницы, раскладка памяти и число vCPU. Сокет миграции открывает bhyvectl и передаёт в bhyve, чтобы bhyve оставался внутри песочницы Capsicum. Область применения: только amd64, зависимость от экспериментального BHYVE_SNAPSHOT и от эмулируемых устройств, поддерживающих снимки; PCI passthrough мигрировать пока нельзя.

Результаты. В текущей среде из двух хостов успешно завершились повторные живые миграции, нагрузки с перезаписью памяти и с интенсивным fsync. Для медленно «пачкающего» память гостя на 512 МиБ простой составил примерно 138-171 мс. Быстро меняющийся гость может не сойтись в pre-copy, но всё равно корректно завершится через stop-and-copy с более длинной паузой. Автор подчёркивает: это обнадёживающие инженерные результаты, а не обещание поддержки в продакшене и не полное доказательство корректности.

Блокеры перед рассмотрением включения в FreeBSD. Автор перечисляет семь пунктов: доказать и укрепить корректность журнала «грязных» страниц (ядро не должно терять запись, пока биты проверяются и сбрасываются; нужны тесты на конкурентность, подкачку, записи эмуляции и несколько vCPU, а также обоснование блокировок и порядка доступа к памяти); определить полный контракт совместимости (идентичность гостя, возможности CPU, совместимость bhyve/vmm и формата снимка, топология устройств, идентичность общего хранилища); укрепить транспорт и протокол (сейчас TCP без аутентификации и шифрования, протокол первой версии); уточнить границу фиксации и побочных эффектов устройств; описать передачу хранилища и сети (tap/bridge, перенос MAC/IP, сходимость трафика); создать тесты в дереве исходников с матрицей поддержки; разбить работу на независимо рецензируемые патчи (отслеживание страниц, рефакторинг API снимков, протокол и приёмник, CLI, тесты).

Дальше. Фокус, корректность, проверка совместимости, безопасность транспорта и повторяемые тесты, а не оптимизация производительности. Сжатие, пропуск нулевых страниц, более широкое покрытие устройств, оркестрация и тюнинг производительности, позже. Автор пишет, что некоторые люди уже имеют доступ к коду, а публикация хотя бы как предложения планируется в его git и на GitHub (репозиторий freebsd-bhyve-live-migration). Он приглашает тех, кто эксплуатирует bhyve или занимается виртуализацией на FreeBSD, протестировать RFC и прислать замечания по дизайну.

Ключевые факты

  • Первое рабочее состояние живой миграции гостей bhyve на FreeBSD 15.1: работающий гость amd64 переносится между двумя хостами по TCP и останавливается только на финальной фазе stop-and-copy.
  • Основа, экспериментальная поддержка снимков состояния bhyve (BHYVE_SNAPSHOT), плюс отслеживание изменённых страниц в модуле ядра vmm и протокол миграции в bhyve и bhyvectl.
  • В тесте на двух хостах простой медленно меняющего память гостя на 512 МиБ составил примерно 138-171 мс; проверялся в основном гость с одним vCPU, многопроцессорные тесты ещё нужны.
  • Ограничения: только amd64, нет миграции PCI passthrough, TCP-транспорт без аутентификации и шифрования; автор называет результаты инженерными, но не обещанием поддержки в продакшене.
  • Перед рассмотрением включения в FreeBSD автор перечисляет семь блокеров: корректность журнала страниц, контракт совместимости, защита транспорта, граница фиксации, хранилище и сеть, тесты, разбиение на патчи.

Почему это важно

Отсутствие живой миграции, давнее ограничение bhyve на FreeBSD. Автор объясняет, что она нужна для обслуживания хостов, замены оборудования, балансировки нагрузки и управления доменами отказа с меньшим влиянием на рабочие нагрузки. Она же нужна проекту Sylve, который стремится предложить для FreeBSD решение в духе Proxmox, и проекту BoxyBSD автора: без пути миграции плановые работы на хосте могут потребовать остановки гостя, поэтому автор называет миграцию «текущим стопором» (show stopper) для проекта. Здесь впервые показан работающий прототип с опубликованными измерениями простоя, хотя до принятия в FreeBSD ещё далеко.

Кому это важно

Тем, кто эксплуатирует bhyve и строит виртуализацию на FreeBSD, в том числе кластерные платформы вроде Sylve и хостинг виртуальных серверов вроде BoxyBSD. Также разработчикам ядра и bhyve, которых автор приглашает дать замечания по дизайну.

Как это применить

Пока это прототип в виде WIP RFC для тестирования и обсуждения, а не готовая функция релиза. Автор приглашает операторов bhyve протестировать RFC и прислать отзывы. Код планируется опубликовать как минимум в качестве предложения в его git и на GitHub; из текста не следует, что репозитории уже открыты. Для работы нужны FreeBSD 15.1, архитектура amd64, экспериментальный BHYVE_SNAPSHOT и устройства, поддерживающие снимки.

Можно ли доверять

Источник, личный блог автора реализации, независимого подтверждения или комментариев разработчиков FreeBSD и bhyve в тексте нет. Сам автор честно называет результаты обнадёживающими инженерными, но не доказательством корректности. Цифры простоя получены на двух хостах; железо, сеть и гостевая ОС в тексте не описаны, и цифр для других гостей нет.

Риски и подводные камни

Транспорт TCP пока без аутентификации и шифрования, протокол, первой версии. Не доказано, что ядро не теряет записи при сбросе «грязных» битов; тестировался в основном гость с одним vCPU, для нескольких vCPU нужны стресс- и гоночные тесты. Проверка совместимости пока неполная: совпадения памяти и числа vCPU недостаточно. Не определены передача общего хранилища и сети, PCI passthrough не мигрирует. Быстро меняющий память гость может не сойтись в pre-copy и получит более долгую паузу. Сроков включения в FreeBSD в тексте нет.

«Это обнадёживающие инженерные результаты, а не обещание поддержки в продакшене и не полное доказательство корректности.»

— gyptazy, автор реализации