GigaWorld-Policy-0.5: модель управления роботами с задержкой 85 мс на RTX 4090
Команда GigaWorld опубликовала статью о GigaWorld-Policy-0.5, модели класса World Action Model (WAM) для управления роботами. WAM обучают политику робота, совместно моделируя действия и то, как будет выглядеть сцена в будущем: предсказание видео используется как плотный сигнал обучения, привязанный к физике мира. Проблема существующих WAM в том, что они генерируют будущее видео не только при обучении, но и на инференсе, это дорого по вычислениям и мешает работе в реальном времени с обратной связью (closed-loop). GigaWorld-Policy решает это "action-centered" подходом: визуальная динамика будущего используется только на этапе обучения, а на инференсе модель декодирует одни лишь действия, без генерации видео.
GigaWorld-Policy-0.5 развивает этот подход дальше. На претрейне применяется смешанная стратегия обучения: Action-Conditioned World Modeling (AC-WM, предсказание мира с учётом действия) вместе с обычным WAM-обучением. Это усиливает связь между визуальной динамикой сцены и действиями робота и делает представления действий лучше переносимыми на последующее обучение конкретных политик. Для быстрого инференса модель использует архитектуру Mixture-of-Transformers, которая разносит моделирование визуальной динамики и генерацию действий по отдельным специализированным "экспертам" (подсетям), это сокращает объём активных вычислений при выводе только действий. В результате на локальной конфигурации с видеокартой RTX 4090 задержка инференса составила 85 миллисекунд.
Отдельно авторы применили агентный пайплайн AutoResearch, он систематически перебирает и подбирает конфигурации обучения (гиперпараметры), автоматизируя часть исследовательской работы и сокращая время и ручное вмешательство, обычно нужные для тюнинга. По заявлению авторов, эксперименты и абляции показывают, что GigaWorld-Policy-0.5 сохраняет преимущества обучения на предсказании визуальной динамики будущего, при этом заметно повышая эффективность инференса для управления роботом.
Ключевые факты
- GigaWorld-Policy-0.5, World Action Model (WAM) для управления роботами: обучается на предсказании будущего видео, но на инференсе генерирует только действия
- Смешанная стратегия претрейна Action-Conditioned World Modeling (AC-WM) + обычное WAM-обучение усиливает связь визуальной динамики и действий робота
- Архитектура Mixture-of-Transformers разделяет моделирование визуальной динамики и генерацию действий на отдельных экспертов, снижая вычисления на инференсе
- Задержка инференса, 85 мс на локальной RTX 4090
- Конфигурации обучения подбирал агентный пайплайн AutoResearch, сокращая ручной тюнинг гиперпараметров
Почему это важно
Существующие модели класса World Action Model заставляют робота на каждом шаге генерировать видео будущего, это дорого по вычислениям и не даёт работать в реальном времени с обратной связью. GigaWorld-Policy-0.5 переносит генерацию видео только в обучение, а на выводе оставляет лёгкое декодирование действий, дополнительно ускоренное архитектурой Mixture-of-Transformers. Итог, задержка 85 мс на потребительской видеокарте RTX 4090, то есть управление роботом становится практичнее в реальном времени.
Кому это важно
Прежде всего исследователям и инженерам, которые разрабатывают модели управления роботами (robot policy learning) и упираются в вычислительную стоимость генерации видео на инференсе. Также интересно тем, кто занимается автоматизацией исследовательского процесса: пайплайн AutoResearch показывает пример агентного подбора конфигураций обучения вместо ручного перебора гиперпараметров.
Как это применить
Работа описывает архитектурный подход (action-centered WAM, смешанное AC-WM/WAM-обучение, Mixture-of-Transformers) и метод автоматизации тюнинга (AutoResearch), которые можно переиспользовать при построении собственных моделей управления роботами, где важна низкая задержка инференса при сохранении качества, полученного от обучения на предсказании будущего.
Можно ли доверять
Источник, статья самой исследовательской команды GigaWorld, опубликованная на Hugging Face Papers; конкретные цифры (85 мс на RTX 4090) авторы приводят как результат собственных экспериментов и абляций. Независимого воспроизведения или стороннего бенчмарка в доступном тексте нет, оценивать стоит как заявление авторов, не как подтверждённый третьей стороной результат.
Риски и подводные камни
Заявленные выигрыши в скорости и качестве получены на конкретной модели (0.5) и конкретном железе (RTX 4090) в условиях самих авторов; насколько они переносятся на другое оборудование, другие задачи манипуляции роботом или более крупные версии модели, из текста не следует. Также неясно, насколько автоматический подбор конфигураций через AutoResearch устойчив к смене задачи или требует ли он самостоятельной настройки под новый сценарий.