DreamFree: нейросеть для роботов предсказывает действия без генерации видео

DreamFree: нейросеть для роботов предсказывает действия без генерации видео

Авторы статьи отталкиваются от World Action Models (WAM, «мировые модели действий»). Такие модели используют предсказательные знания предобученных видеодиффузионных моделей и управляют роботом через предсказание будущего видео. У подхода есть два недостатка, о которых пишут авторы: итеративное шумоподавление (денойзинг) видео обходится дорого, а неточные визуальные предсказания могут ухудшить предсказание действий.

Ключевая идея работы в том, чтобы сделать эти предсказательные знания доступными через визуальные представления, вычисленные из текущего наблюдения. Тогда действия можно предсказывать, не генерируя будущее видео. Так устроена DreamFree: это WAM, которая переиспользует предобученную видеодиффузионную модель как предсказательный визуальный энкодер с помощью дистилляции представлений. Визуальный энкодер учится предсказывать представление замороженной видеодиффузионной модели, используя только текущее наблюдение. Затем обучается модуль действий: он извлекает из визуального энкодера информацию, нужную для предсказания действий.

По заявлению авторов, на реальных и симулированных задачах DreamFree достигает более высокой доли успешных выполнений, чем современные VLA (модели «зрение-язык-действие») и WAM. При этом она управляет роботом в замкнутом контуре в реальном времени на частоте 11 Гц с видеодиффузионной основой на 14B. Эксперименты, как утверждают авторы, показывают, что DreamFree превращает более сильные видеопризнаки (priors) и дополнительные видеоданные в лучшее управление роботом. Она также позволяет обучать робота новым задачам по видеодемонстрациям, в том числе по видео с другим воплощением (другим типом робота), без разметки действий для новых задач.

Ключевые факты

  • DreamFree, WAM, которая использует предобученную видеодиффузионную модель как предсказательный визуальный энкодер через дистилляцию представлений.
  • Действия предсказываются по текущему наблюдению, без генерации будущего видео и дорогого итеративного денойзинга.
  • Авторы заявляют более высокую долю успешных выполнений, чем у современных VLA и WAM, на реальных и симулированных задачах.
  • Управление в замкнутом контуре в реальном времени идёт на частоте 11 Гц с видеодиффузионной основой на 14B.
  • Новым задачам можно обучать по видеодемонстрациям, в том числе с другим воплощением, без разметки действий.

Почему это важно

Мировые модели действий опираются на предсказание будущего видео, а это медленно из-за итеративного денойзинга и чувствительно к ошибкам предсказания. DreamFree убирает генерацию видео на этапе управления, сохраняя знания видеомодели в визуальном энкодере. Для управления в реальном времени это существенно: авторы сообщают о 11 Гц при основе на 14B.

Кому это важно

Исследователям робототехники и разработчикам политик управления роботами, которые следят за VLA и WAM. Также тем, кто хочет использовать большие видеомодели для управления, но упирается в стоимость вывода.

Как это применить

Это научная работа, и из имеющегося текста нельзя понять, доступны ли код и модели. Практический вывод для специалистов, сама схема: сначала дистиллировать представление замороженной видеодиффузионной модели в энкодер, затем обучить поверх него модуль действий. Заявленная возможность учиться на видеодемонстрациях без разметки действий, в том числе от другого типа робота, потенциально снижает затраты на сбор данных.

Можно ли доверять

Все утверждения о превосходстве над VLA и WAM принадлежат самим авторам. В доступном тексте нет конкретных значений успешности, названий базовых моделей, числа и типа задач, а также сведений об оборудовании, на котором достигнуты 11 Гц. Независимо проверить заявленный результат по этому тексту нельзя.

Риски и подводные камни

Без цифр трудно оценить, насколько велик выигрыш и насколько он устойчив. Качество метода зависит от силы видеомодели, на которую опирается дистилляция: сами авторы связывают улучшения с более сильными видеопризнаками и дополнительными видеоданными. Как метод ведёт себя за пределами протестированных задач, из текста не ясно.