LeWAM: сквозная JEPA для управления роботом планирует в 32,3 раза быстрее

В статье представлена LeWAM, сквозная (end-to-end) архитектура JEPA (joint-embedding predictive architecture, архитектура с предсказанием в пространстве эмбеддингов) для задач управления. JEPA-модели учат компактные латентные модели мира без восстановления пикселей. По описанию авторов, существующие JEPA-конвейеры обычно сначала обучают визуальные представления и динамику, зависящую от действий, и только потом добавляют политику управления или решатель (solver).

LeWAM устроена иначе. У неё два ключевых элемента: совместная цель обучения, объединяющая предсказание следующего латентного состояния и flow matching (согласование потоков) по действиям, а также изотропное гауссово ограничение на латентное состояние. Благодаря этому одна модель может и напрямую исполнять политику, и планировать: при планировании она оценивает выбранные варианты действий с помощью выученной латентной динамики.

Главные результаты, которые приводят авторы. По сравнению с прежними JEPA в визуальном планировании LeWAM поднимает долю успешных исполнений на задачах с богатым контактом с 28,6% до 89,7%, а на длинногоризонтных задачах, с 10,9% до 46,2%; это абсолютные доли успеха, а не относительный рост. Планирование при этом идёт в 32,3 раза быстрее. На задачах клонирования поведения (behavior cloning) в симуляции и на физических роботах LeWAM, по словам авторов, конкурентоспособна с устоявшимися методами, то есть заявлено «на уровне», а не «лучше».

Анализ интерпретируемости, по утверждению авторов, показывает, что LeWAM выучивает представления, значимые для управления, и распределения действий, которые эффективно направляют планирование и управление во время работы.

Ключевые факты

LeWAM, сквозная JEPA для управления: совместно обучается предсказанию следующего латентного состояния и flow matching по действиям, плюс изотропное гауссово ограничение на латентное состояние.
Одна модель поддерживает и прямое исполнение политики, и планирование через оценку выбранных действий по выученной латентной динамике.
По сравнению с прежними JEPA в визуальном планировании: успех на задачах с контактом вырос с 28,6% до 89,7%, на длинногоризонтных, с 10,9% до 46,2%.
Планирование быстрее в 32,3 раза; в клонировании поведения в симуляции и на физических роботах результат заявлен как конкурентоспособный с устоявшимися методами.

Почему это важно

Типичные JEPA-конвейеры собираются поэтапно: сначала представления и динамика, затем политика или решатель. LeWAM предлагает обучать всё вместе в одной модели, которая умеет и действовать напрямую, и планировать. Если заявленные авторами цифры подтвердятся независимо, это упрощает конвейер и заметно ускоряет планирование (в 32,3 раза по сравнению с прежними JEPA в визуальном планировании).

Кому это важно

Исследователям робототехники и обучения с подкреплением, работающим с латентными моделями мира и JEPA, а также командам, которым важны контактные и длинногоризонтные задачи манипуляции и скорость планирования.

Как это применить

Для практики пока рано: в доступном описании не указано, выложены ли код и веса, и не названы размер модели и затраты на обучение. Исследователям стоит ориентироваться на саму идею: совместная цель «предсказание латентного состояния + flow matching по действиям» с гауссовым ограничением на латентное пространство и планирование через оценку выбранных действий.

Можно ли доверять

Это препринт; все цифры приведены самими авторами в аннотации. В тексте не названы конкретные бенчмарки, задачи и прежние JEPA-базовые методы, с которыми идёт сравнение, поэтому проверить масштаб улучшения 28,6% → 89,7%, 10,9% → 46,2% и 32,3-кратного ускорения по аннотации нельзя. Для результатов на физических роботах чисел нет, сказано лишь «конкурентоспособно с устоявшимися методами». Не указано также, среднее это ускорение, медиана или значение по отдельной задаче.

Риски и подводные камни

Сравнение проведено именно с прежними JEPA в визуальном планировании, а не со всеми подходами к управлению: на клонировании поведения LeWAM лишь на уровне устоявшихся методов. Выводы об интерпретируемости, также утверждение авторов. Перенос на другие задачи и роботов в аннотации не обсуждается.