Представлена NEO-VLA: политика управления роботом без визуального энкодера
Модели «зрение, язык, действие» (VLA), управляющие роботами, обычно строят по простой схеме: сначала визуальный энкодер сжимает картинку, и только потом начинается рассуждение о действиях. Авторы статьи указывают, что при манипуляциях с предметами многое зависит именно от тех визуальных сигналов, которые такое сжатие портит сильнее всего: локальной геометрии, границ, глубины и тонких изменений состояния. Отсюда вопрос: должна ли политика действий опираться на фиксированный визуальный результат энкодера или напрямую обращаться к развивающимся визуальным вычислениям?
Ответ авторов, NEO-VLA, структурно свободная от энкодера VLA-модель. Изображения превращаются в токены лёгкими патч-свёрточными слоями и затем вместе с текстом проходят через всю основную сеть (backbone). Модуль действий на основе flow matching (согласования потоков) при этом берёт визуальные представления, зависящие от инструкции, с разных глубин сети, а не из одной финальной точки.
По словам авторов, это простое изменение выявляет устойчивую закономерность. В контролируемых сравнениях «нативные» архитектуры превосходят аналоги с энкодером. Полное дообучение (full fine-tuning) сокращает отставание, но не устраняет его, а увеличение масштаба само по себе его не компенсирует. Послойное зондирование (layer-wise probing) показывает, что сигналы, критичные для действий, часто достигают пика задолго до финального визуального представления.
В итоге, как утверждают авторы, в разнообразных сценариях манипуляции и при сдвигах распределения данных NEO-VLA даёт более сильное и устойчивое управление. Их вывод: управлению в физическом мире полезен доступ к визуальным представлениям по всей вычислительной иерархии, а не к одному фиксированному выходу энкодера. Это формулируется как предположение, которое следует из результатов.
Ключевые факты
- NEO-VLA, структурно свободная от энкодера модель «зрение, язык, действие»: изображения токенизируются лёгкими патч-свёрточными слоями и развиваются вместе с языком по всей основной сети.
- Модуль действий на основе flow matching берёт визуальные представления, зависящие от инструкции, с разных глубин сети.
- В контролируемых сравнениях нативные архитектуры, по данным авторов, превосходят аналоги с энкодером; полное дообучение сокращает разрыв, но не устраняет его, а рост масштаба его не компенсирует.
- Послойное зондирование показывает: сигналы, важные для действий, часто достигают пика задолго до финального визуального представления.
- Авторы сообщают о более сильном и устойчивом управлении в разных сценариях манипуляции и при сдвигах распределения данных.
Почему это важно
Большинство VLA-моделей исходят из того, что восприятие сначала сжимается энкодером, а рассуждение о действиях идёт потом. Работа ставит эту предпосылку под сомнение: по мнению авторов, при манипуляциях важны как раз детали (геометрия, границы, глубина, тонкие изменения состояния), которые такое сжатие вредит больше всего. Если вывод подтвердится, это аргумент в пользу другого проектирования политик управления роботами.
Кому это важно
Исследователям и инженерам, которые строят модели управления роботами и VLA-политики, а также всем, кто следит за тем, как мультимодальные модели переходят от распознавания картинок к действиям в физическом мире.
Как это применить
Прямого практического рецепта в источнике нет. Идея для проектировщиков: подавать модулю действий не только финальный выход визуального блока, но и представления с промежуточных слоёв, а послойное зондирование использовать, чтобы найти, где сигналы, важные для действий, выражены сильнее всего. Упоминаний кода, весов или планов релиза в источнике нет.
Можно ли доверять
Это аннотация научной статьи: все утверждения принадлежат самим авторам и в источнике не подкреплены числами. Результатов в цифрах нет: ни показателей успеха, ни названий бенчмарков, ни величины улучшения, ни размеров моделей. Не названы и базовые модели с энкодером, с которыми сравнивали, а также роботы и условия (симуляция или реальный мир). Авторы и организации в тексте аннотации не указаны. Сами авторы формулируют вывод осторожно: результаты «предполагают», а не доказывают. Оценить масштаб эффекта можно только по полному тексту статьи.
Риски и подводные камни
Без численных данных нельзя судить, насколько велик выигрыш и насколько он зависит от выбора базовых моделей и условий сравнения. Утверждение «разрыв не исчезает при полном дообучении и росте масштаба» в источнике дано без подтверждающих цифр. Вывод о пользе доступа к промежуточным представлениям авторы сами подают как предположение, поэтому считать его общим правилом для всех VLA-политик пока рано.
«Нативные архитектуры превосходят аналоги на основе энкодера в контролируемых сравнениях.»
— Авторы NEO-VLA, аннотация статьи