OrbitQuant: универсальная квантизация для быстрой генерации видео и изображений нейросетями
Диффузионные трансформеры (DiT) демонстрируют лучшие результаты в генерации изображений и видео, но высокая стоимость инференса (многошаговое сэмплирование, огромное число параметров) существенно ограничивает практическое применение. Квантизация (снижение точности численных представлений), естественный путь к ускорению, но традиционные методы требуют переобучения для каждой новой модели, так как активации диффузионных трансформеров сильно варьируются в зависимости от timestep (этапа сэмплирования), промпта и guidance коэффициента.
Исследователи представили OrbitQuant, универсальный метод квантизации, независимый от данных конкретной модели (data-agnostic). Ключевая идея: квантизация происходит в нормализованном, повёрнутом пространстве. Специальная RPBH-ротация (randomized permuted block-Hadamard) выравнивает каждую координату вокруг одного фиксированного значения, независимо от входа. Это даёт возможность использовать один Lloyd-Max codebook для всех timesteps, промптов и слоёв выбранной размерности без переобучения.
Для весов метод применяется offline, ротация встраивается в веса так, чтобы взаимно компенсироваться внутри каждого линейного слоя. На инференс остаётся только одна ротация активаций. Один и тот же алгоритм переносится с изображений на видео без модальности-специфичной настройки.
На тестах (FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX) OrbitQuant достигает SOTA результатов для низкобитных настроек и впервые успешно применяет W2A4-квантизацию (2-битные веса, 4-битные активации) к диффузионным трансформерам с приемлемым качеством.
Ключевые факты
- Диффузионные трансформеры в генерации видео/изображений дорогие в инференсе из-за многошагового сэмплирования и размера модели
- Традиционная квантизация (PTQ) требует переобучения для каждого чекпоинта, так как активации сильно меняются в зависимости от timestep и guidance
- OrbitQuant использует ротацию в нормализованном пространстве (RPBH), позволяя одному codebook служить для всех timesteps/prompts/слоёв
- Метод работает без переобучения и универсален, один алгоритм применяется к image и video генерации без настроек
- На SOTA моделях достигает W2A4-квантизации (экстремально низкая точность) с приемлемым качеством, что было ранее невозможно
Почему это важно
Генеративные модели (особенно видео) требуют огромных вычислительных ресурсов на этапе вывода: многошаговое сэмплирование плюс растущее число параметров делают практическое применение на сервере или edge-устройстве дорогостоящим. Квантизация, проверенный способ ускорения, но предыдущие методы не работали для диффузионных трансформеров из-за нестабильности активаций. OrbitQuant решает эту проблему универсально, без переобучения.
Кому это важно
Разработчикам и компаниям, которые развёртывают модели генерации видео и изображений в production: на удалённых серверах, edge-устройствах, или хотят снизить пиковую нагрузку. Также интересно исследователям в области оптимизации нейросетей и квантизации.
Как это применить
OrbitQuant работает offline на уже обученной модели без переобучения. Разработчик загружает FLUX.1, CogVideoX или другую DiT модель, применяет OrbitQuant, и получает квантованную версию, готовую к deployment'у с тем же качеством, что и оригинал (или близким для W2A4). Метод реализован для общих моделей, что ускоряет внедрение.
Можно ли доверять
Исследование протестировано на SOTA моделях (FLUX.1, CogVideoX, Wan 2.1), показаны численные результаты в нескольких режимах квантизации. Метод впервые достигает W2A4 с приемлемым качеством, это экстремально агрессивное сжатие (2 бита на вес, 4 бита на активацию), поэтому результаты выглядят значимо. Код и параметры обычно выкладываются в таких исследованиях на HuggingFace.
Риски и подводные камни
W2A4, это экстремально низкая точность, и реальное качество может существенно зависеть от конкретной модели, типа контента и критериев оценки. Авторы говорят об 'usable' качестве, но для критичных приложений нужно самостоятельно проверить. Также метод добавляет ротацию на вывод (minimal overhead, но всё же), и поддержка может быть ограничена на некоторых аппаратных платформах.