τ_0-VLA: робот получил модель мира и «время на раздумье»

Группа исследователей во главе с Xiaowei Cai представила τ_0-VLA, иерархическую фундаментальную модель для роботов типа vision-language-action (VLA), предназначенную для длинных многошаговых задач манипуляции. Сегодняшние иерархические VLA-модели принимают каждое решение верхнего уровня за один прямой проход и не могут выделить больше ресурсов на трудные или ответственные решения, это и есть основная проблема, которую решает работа. Авторы предлагают трактовать генерацию подзадачи высокого уровня как задачу вывода, масштабируемую по вычислениям: на каждом шаге высокоуровневая политика использует память выполнения, чтобы сгенерировать очередную подзадачу, а при необходимости перебирает несколько вариантов и сравнивает их, прежде чем выбрать окончательный вариант; этот перебор направляется «моделью мира» (world model). После того как подзадача выбрана, её исполняет отдельная низкоуровневая политика, причём одна и та же модель работает на нескольких разных роботических платформах (embodiments). Политику обучили на 40 115 часах разнородных данных из реального мира с мультимодальным совместным обучением (multimodal co-training). В экспериментах, как на данных, близких к обучающим, так и при сдвиге распределения, увеличение вычислений на этапе вывода заметно повышает точность предсказания следующей подзадачи, а это, в свою очередь, приводит к более высокой доле успешного выполнения длинных задач манипуляции в замкнутом цикле. Точные числа точности и успеха, а также какие именно платформы, бенчмарки и модели сравнения использовались, в аннотации не названы.

Ключевые факты

τ_0-VLA, иерархическая vision-language-action модель для роботов-манипуляторов, нацеленная на длинные многошаговые задачи.
Верхний уровень генерирует очередную подзадачу с опорой на память выполнения и при необходимости перебирает несколько вариантов вместо одного прямого прохода, как у большинства иерархических VLA-моделей.
Поиск вариантов направляется «моделью мира», а дополнительные вычисления на этапе вывода выделяются именно на трудные решения.
Модель обучена на 40 115 часах разнородных данных из реального мира с мультимодальным совместным обучением и работает на нескольких разных роботических платформах.
Увеличение вычислений на этапе вывода заметно повышает точность предсказания подзадачи и долю успеха в закрытом цикле, но точные проценты в аннотации не приведены.

Почему это важно

Идея тестового масштабирования вычислений, тратить больше ресурсов на сложные решения, хорошо работает в рассуждающих языковых моделях, но там решение, это текст. Авторы переносят тот же принцип на роботов, где решение, это очередной шаг физического действия, и показывают, что выбор среди нескольких вариантов под контролем модели мира даёт заметный прирост точности и успеха в длинных задачах.

Кому это важно

Исследовательским группам и инженерам, работающим над фундаментальными моделями для роботов (воплощённым ИИ, embodied AI), в частности тем, кто проектирует политики для роботов-манипуляторов и хочет масштабировать вычисления на этапе вывода, а не только на этапе обучения.

Как это применить

Работа не описывает готовый продукт или цену, это архитектурный приём: в пайплайн иерархической VLA-политики добавляется шаг с перебором вариантов под управлением модели мира, который включается именно на трудных, длинных задачах, где ошибка выбора подзадачи дорого обходится.

Можно ли доверять

Источник, препринт на Hugging Face Papers с невысоким откликом (9 голосов, 2 комментария) и без признаков сатиры или маркетинга. Но аннотация не называет конкретных цифр точности или успеха, не указывает бенчмарки и модели для сравнения и не раскрывает устройство модели мира, заявленные результаты пока нельзя проверить по открытым цифрам.

Риски и подводные камни

Поиск вариантов на этапе вывода увеличивает время отклика и вычислительную нагрузку, для робота, действующего в реальном времени, это компромисс, о котором в аннотации ничего не сказано. Отсутствие конкретных цифр и сравнения с другими подходами не позволяет оценить, насколько выигрыш существен на практике и оправдывает ли он дополнительные затраты вычислений.