RoboScript учит робота по одной демонстрации: 83,4% на RoboTwin 2.0

RoboScript учит робота по одной демонстрации: 83,4% на RoboTwin 2.0

Авторы препринта исходят из проблемы обычных обученных политик управления роботом: они записывают навык манипуляции в веса сети, и всё выученное оказывается привязано к распределению данных, на которых шло обучение. Обучение в контексте (in-context learning, ICL) такой привязки не имеет, но до сих пор не дотягивало до обученных политик: демонстрация, записанная в другой сцене, не несёт обратной связи от того мира, с которым робот имеет дело сейчас.

Ключное наблюдение авторов: то, что агент выучивает в контексте, носит смысловой характер, это шаги задачи и роли объектов, а не внешний вид. Поэтому опыт, полученный в одном мире, переносится в другой. На этом построена идея World In-Context Learning (WICL): замороженная модель берёт за основу демонстрацию, «репетирует» задачу в каком-либо мире, например в симуляторе, и записывает полученную обратную связь в свой контекст, а не в веса.

Для реализации идеи авторы построили RoboScript, модульную инфраструктуру для агентного управления манипуляцией. По одной демонстрации RoboScript осваивает каждую задачу через репетиции в симуляции, фиксирует выученное знание в виде Task Memory (памяти задачи) и затем разворачивает эту замороженную память на новых сценах. При этом применена изоляция данных: каждый вход, который система использует при развёртывании, должен быть доступен и на реальном роботе.

Результат: на всех 50 задачах бенчмарка RoboTwin 2.0 RoboScript достигает 83,4% средней успешности по чистым и рандомизированным условиям. Для этого нужна одна демонстрация на задачу и никаких градиентных обновлений. По словам авторов, это больше сильнейшей обученной политики действий более чем на 20 пунктов.

Авторы также заявляют, что метод обобщается на разные визуальные распределения, улучшается за счёт рефлексии, растёт вместе с возможностями базовой модели и переносится на физического двурукого робота благодаря адаптации памяти между разными конструкциями роботов (cross-embodiment memory adaptation). Итоговый тезис: когда в цикле есть мир, робот может выучить задачу манипуляции в контексте так же хорошо, как в весах. Код опубликован на GitHub в организации ArcheOne-AI.

Ключевые факты

  • Идея WICL: замороженная модель стартует с демонстрации, репетирует задачу в мире вроде симулятора и записывает обратную связь в контекст, а не в веса.
  • RoboScript: по одной демонстрации осваивает задачу в симуляции, сохраняет знание как Task Memory и применяет его на новых сценах.
  • На всех 50 задачах RoboTwin 2.0, 83,4% средней успешности по чистым и рандомизированным условиям без градиентных обновлений.
  • По заявлению авторов, результат превосходит сильнейшую обученную политику действий более чем на 20 пунктов.
  • Заявлен перенос на физического двурукого робота через адаптацию памяти между разными конструкциями; код опубликован на GitHub.

Почему это важно

Работа предлагает альтернативу привычному подходу, где навык робота зашит в веса и привязан к данным обучения. Если выученное хранится в контексте как смысловое описание шагов и ролей объектов, а не как внешний вид сцены, то опыт из симулятора можно переносить в другие сцены без дообучения. Заявленный выигрыш над сильнейшей обученной политикой, более 20 пунктов при одной демонстрации на задачу, выглядит заметно, но это утверждение самих авторов.

Кому это важно

Исследователям робототехники и агентных систем управления манипуляцией, а также тем, кто работает с симуляторами и бенчмарком RoboTwin 2.0. Интересно и тем, кто следит за спором «обучение весов против обучения в контексте» за пределами текстовых задач.

Как это применить

Код RoboScript опубликован на GitHub (организация ArcheOne-AI), так что результаты можно попробовать воспроизвести. Из описания следует схема: одна демонстрация, репетиции в симуляторе, замороженная Task Memory, развёртывание на новых сценах. Какая именно базовая модель используется, в тексте аннотации не названо, поэтому условия повторения придётся смотреть в репозитории и статье.

Можно ли доверять

Это препринт на странице Hugging Face Papers; имена авторов и их организации в тексте аннотации не указаны, статус рецензирования не заявлен. Все цифры, со слов авторов. Не названа сильнейшая обученная политика, с которой идёт сравнение, и не указан её результат; отдельные показатели для чистых и рандомизированных условий тоже не приведены, только среднее 83,4%. Для переноса на физического робота нет показателя успешности, а для утверждений о рефлексии и росте вместе с базовой моделью нет чисел.

Риски и подводные камни

Главные результаты получены на симуляционном бенчмарке; перенос на реального двурукого робота заявлен, но без количественной оценки. Метод опирается на возможность репетировать задачу в мире, похожем на реальный, а изоляция данных нужна, чтобы на развёртывании использовались только входы, доступные на настоящем роботе. Выводы о том, что обучение в контексте может сравниться с обучением весов, пока опираются на один препринт.

«Когда в цикле есть мир, робот может выучить задачу манипуляции в своём контексте так же хорошо, как в своих весах.»

— из аннотации статьи