InternVLA-A1.5: единая модель понимания, скрытого предвидения и действия для роботов
Команда во главе с Хаосяном Ма (Haoxiang Ma) опубликовала работу об унифицированной модели для управления роботами-манипуляторами InternVLA-A1.5. Задача, которую решают такие модели: объединить в одной политике управления семантические знания предобученных визуально-языковых моделей (VLM) с физической динамикой мира, которую модель учит через предсказание будущего. По словам авторов, существующие подходы к этому справляются плохо: при совместном обучении семантика предобученного бэкбона (базовой модели) размывается, разнородные задачи мешают друг другу, а предсказание будущего чаще всего учат «с нуля» в пиксельном пространстве, то есть модель заново, без опоры на уже накопленные знания о мире, учится предсказывать, как будет выглядеть картинка в будущем. При этом готовые предобученные модели генерации видео, которые уже хорошо знают физическую динамику мира, никак не используются.
В InternVLA-A1.5 авторы предлагают три архитектурных решения. Во-первых, политика строится поверх «нативного» VLM-бэкбона, который продолжает обучаться на задачах визуального вопрос-ответа (VQA) и предсказания подзадач, то есть не теряет исходную семантику. К нему добавляется лёгкий «унифицированный эксперт», отдельный модуль, который генерирует непрерывные управляющие действия робота. Во-вторых, предсказание будущего переформулировано как задача «latent-querying» (запроса в скрытом пространстве): небольшой набор обучаемых «токенов предвидения» сжимает релевантную для задачи часть будущего в компактный скрытый код; этот код обучается под контролем замороженной (не дообучаемой) предобученной модели генерации видео. Благодаря этому политика наследует заложенные в видео-модели знания о динамике мира, но при этом никогда не учится генерировать изображения на уровне пикселей напрямую. В-третьих, на этапе инференса (реальной работы, не обучения) видео-ветка модели полностью отбрасывается, это позволяет сохранить управление роботом в реальном времени.
Модель предобучена на 1,2 млн эпизодов работы роботов и 3 млн мультимодальных примеров. По заявлению авторов, InternVLA-A1.5 показывает лучшие суммарные результаты на всех шести симуляционных бенчмарках, использованных в работе. В экспериментах с реальным роботом сохранённая семантика VLM обеспечивает, по словам исследователей, самое сильное композиционное обобщение, то есть способность правильно выполнять команды с новыми, ранее не встречавшимися сочетаниями инструкций («held-out instruction bindings»), а сочетание обоих архитектурных решений вместе поддерживает устойчивое выполнение длинных, многошаговых задач.
Ключевые факты
- Проблема: существующие унифицированные модели управления роботами теряют семантику предобученной VLM или учат предсказание будущего с нуля в пиксельном пространстве, не используя знания готовых видео-генераторов
- InternVLA-A1.5 сохраняет VLM-бэкбон (обучение на VQA и предсказании подзадач) и добавляет отдельный лёгкий модуль для генерации непрерывных действий робота
- Предсказание будущего сведено к обучаемым «токенам предвидения», которые под контролем замороженной видео-модели сжимают будущее в компактный скрытый код, без генерации пикселей
- На инференсе видео-ветка отбрасывается, что сохраняет управление роботом в реальном времени; предобучение, на 1,2 млн эпизодов роботов и 3 млн мультимодальных примеров
- Заявлены лучшие результаты на всех шести симуляционных бенчмарках и наилучшее композиционное обобщение на новых сочетаниях команд в реальных экспериментах
Почему это важно
Работа нацелена на давнюю проблему робототехники: как совместить в одной модели «понимание» (семантику языковых и визуальных знаний) и «предвидение» (знание физической динамики мира), не жертвуя ни тем, ни другим. Авторы утверждают, что типичный компромисс, обучение предсказанию будущего в пиксельном пространстве с нуля, портит уже накопленную семантику модели и плохо использует ресурсы. Предложенный обходной путь, учить компактные скрытые «токены предвидения» под присмотром готовой видео-модели, а на практике вообще не использовать генерацию видео, выглядит как способ получить пользу от знаний о динамике мира без затрат на генерацию изображений во время работы.
Кому это важно
Материал адресован исследователям и инженерам, которые разрабатывают модели «vision-language-action» (VLA), политики управления роботами-манипуляторами на основе визуально-языковых моделей, а также командам, работающим над foundation-моделями для робототехники в целом.
Как это применить
Архитектура: VLM-бэкбон с продолженным обучением на VQA и предсказании подзадач + лёгкий модуль-эксперт для непрерывных действий + обучаемые токены предвидения, обучаемые под замороженной видео-моделью. Видео-ветка используется только при обучении и отбрасывается при инференсе. Предобучающий набор данных, 1,2 млн эпизодов роботов и 3 млн мультимодальных примеров. Код, веса или репозиторий проекта в предзагруженном тексте не упомянуты.
Можно ли доверять
Это научная публикация (запись на HuggingFace Papers), на момент обработки собравшая 21 отметку и 2 комментария, трафик пока скромный. Все заявленные результаты (лучшие показатели на шести бенчмарках, сильнейшее композиционное обобщение), это собственные оценки авторов из аннотации к статье; независимого подтверждения или рецензирования в предзагруженном тексте нет, конкретные цифры результатов и названия бенчмарков в аннотации также не приведены.
Риски и подводные камни
Аннотация не раскрывает деталей: какие именно шесть симуляционных бенчмарков использовались, насколько велик отрыв от предыдущих моделей, и как именно измерялось «композиционное обобщение» в реальных экспериментах. Результаты получены в основном в симуляции; перенос на реальных роботов проверен, судя по тексту, ограниченным набором задач. Как и с любой самостоятельно заявленной научной работой, стоит дождаться независимого воспроизведения результатов, прежде чем делать выводы о практической применимости подхода.