От лаборатории к практике: авторы представили обновлённую VLA-модель для роботов LingBot-VLA 2.0
Авторы отмечают, что, несмотря на прогресс базовых VLA-моделей (моделей, которые по картинке и текстовой команде генерируют управляющие действия робота), разрыв между лабораторными условиями и реальными задачами по-прежнему мешает их практическому внедрению. Чтобы сократить этот разрыв, команда представила LingBot-VLA 2.0, развитие предыдущей версии модели LingBot-VLA, доработанное сразу по трём направлениям.
Во-первых, улучшена обобщающая способность модели на разные задачи и типы роботов: конвейер обработки данных переработан, а объём датасета для предобучения увеличен примерно до 60 000 часов. Из них 50 000 часов, это траектории движений роботов, собранные на 20 различных конфигурациях робототехнических платформ, а ещё 10 000 часов, видео от первого лица (эгоцентрические записи), снятые людьми.
Во-вторых, расширено пространство возможных действий модели: помимо стандартных двуруких манипуляторов, система теперь учитывает степени свободы для головы, поясницы, мобильной платформы (базы) и «ловких» кистей-манипуляторов, что позволяет роботам решать более сложные задачи в реальных сценариях.
В-третьих, добавлено предиктивное моделирование динамики для улучшения временного (последовательного) понимания ситуации: предсказание будущего состояния сцены используется как вспомогательная обучающая задача, опирающаяся на модель видео-представлений (для смысловых подсказок) и модель оценки глубины (для геометрических подсказок о пространстве).
Проверка на бенчмарке GM-100 в универсальном (generalist) режиме подтвердила пользу всех трёх изменений. Благодаря расширенным данным предобучения, охватывающим степени свободы всего тела, LingBot-VLA 2.0 демонстрирует устойчивую способность к длительным манипуляционным задачам при переносе между разными типами роботов, модель протестирована сразу на двух робототехнических платформах.
Ключевые факты
- LingBot-VLA 2.0, вторая версия модели класса vision-language-action (восприятие-язык-действие) для управления роботами
- Датасет предобучения расширен примерно до 60 000 часов: 50 000 часов траекторий роботов на 20 конфигурациях платформ плюс 10 000 часов видео от первого лица, снятого людьми
- Пространство действий расширено за пределы двурукой схемы, добавлены степени свободы для головы, поясницы, мобильной базы и ловких кистей
- Добавлено предиктивное моделирование динамики: предсказание будущего состояния сцены как вспомогательная задача обучения с опорой на модель видео-представлений и модель оценки глубины
- На бенчмарке GM-100 модель показала устойчивую способность к длительным манипуляционным задачам при переносе между двумя разными робототехническими платформами
Почему это важно
Разрыв между лабораторными демонстрациями роботов и их реальным практическим применением остаётся одной из главных проблем базовых VLA-моделей. LingBot-VLA 2.0, конкретная попытка закрыть этот разрыв не за счёт разовых трюков, а за счёт системных изменений: расширенных и разнообразных данных предобучения, более широкого набора управляемых степеней свободы и отдельного механизма предсказания будущего состояния сцены, который должен улучшить понимание моделью последовательности событий во времени.
Кому это важно
Материал адресован разработчикам робототехнических систем и исследователям, работающим над базовыми моделями для роботов (foundation models for robotics), а также компаниям, создающим универсальных роботов-манипуляторов, способных переноситься между разными физическими платформами без переобучения с нуля.
Как это применить
Из текста следует практический рецепт: для более обобщающей модели нужен большой и разнородный датасет (траектории разных роботов плюс видео от людей), расширенное пространство действий (не только руки, но и голова, корпус, база), и отдельная вспомогательная задача предсказания будущего состояния сцены, использующая готовые модели видео-представлений и оценки глубины. Эти принципы применимы при построении собственных VLA-систем на других робототехнических платформах.
Можно ли доверять
Материал, научная публикация без внешнего рецензирования, с умеренным откликом (12 отметок, 2 комментария на площадке). Оценка модели проведена на бенчмарке GM-100, который упоминается как внутренний инструмент авторов; в тексте нет прямого сопоставления с результатами других сторонних VLA-моделей, поэтому судить о превосходстве LingBot-VLA 2.0 над конкурентами по одному этому источнику нельзя.
Риски и подводные камни
Заявления о кросс-платформенном переносе и устойчивости к длинным задачам опираются на внутренний бенчмарк без прямого сравнения с альтернативными подходами. В тексте не раскрыты ни стоимость сбора 60 000 часов данных, ни вычислительные затраты на обучение, ни ограничения самой модели, это затрудняет независимую оценку практической готовности системы к массовому внедрению.