ИИтог

Предложен REA: роботом управляют «мозг» и быстрые политики без ожидания

исследованияРедакция ИИтогHugging Face🔥55Рейтинг ИИтог55Влияние48Новизна60Релевантность95Неожиданность30Участники12Достоверность75
Предложен REA: роботом управляют «мозг» и быстрые политики без ожидания

Авторы статьи исходят из двух наблюдений. Базовые модели всё надёжнее рассуждают на высоком уровне, но остаются слишком медленными и дорогими, чтобы управлять роботом в мелких движениях. Быстрые политики, например, VLA (модели «зрение, язык, действие») и контроллеры всего тела, дают более эффективные рефлексы, но плохо обобщаются на новые ситуации.

Сочетать «мозг» (базовые модели, планирование) и «мозжечок» (быстрые политики) для роботов кажется естественным, но, по словам авторов, мешают два препятствия: методы строят и оценивают на несовместимых стеках, а асинхронную координацию трудно наладить. Пример из статьи: если агент вызывает VLA внутри своего цикла, он может тормозить быстрое исполнение; если же VLA вызывает агента при ошибках, она склонна многократно запускать запасные сценарии или вовсе пропускать «тихие» сбои.

Ответ авторов, REA (Routed Embodied Agent), единая среда выполнения, в которой взаимодействуют три уровня: размышляющий System 2 («мозг»), встроенный в тело маршрутизатор System 1 и реактивные политики System 0. Все они подчиняются одному «золотому правилу»: ни одна исполняемая политика не ждёт мозг. Вместо того чтобы обращаться к «мозгу» при каждом сбое, REA использует три механизма: память маршрутов, где заранее хранится измеренная успешность каждой политики; «судейские ворота», срабатывающие на границах исполнения и запрашивающие мнение мозга о работе политики; и лестницу эскалации с общим бюджетом для ограниченного по ресурсам восстановления после сбоев.

Результаты. На бенчмарке LIBERO-Pro (3000 тестовых эпизодов по 60 задачам) REA достигла 95,9% успеха и обошла лучшую одиночную политику из собственного набора (94,7%), сократив число шагов управления на 25%, а время управления на 17% (относительно какого базового варианта, в источнике не указано). В отдельном исследовании на RoboTwin 2.0 (100 эпизодов) REA показала 84% успеха с VLA-политиками и 86% при сочетании VLA с программным кодом; у сильнейшей одиночной VLA-политики MEDex, 80%. Авторы считают это демонстрацией того, что обученные и программные политики могут работать в одной среде выполнения. Также сообщается, что REA переносится на BEHAVIOR-1K и на реального гуманоида Unitree G1 и даёт наивысший наблюдаемый успех среди сравниваемых методов.

Ключевые факты

  • REA, единая среда выполнения из трёх уровней: размышляющий System 2 («мозг»), маршрутизатор System 1 и реактивные политики System 0; правило одно, ни одна работающая политика не ждёт «мозг».
  • Вместо запроса к «мозгу» при каждом сбое используются память маршрутов с заранее измеренной успешностью политик, «судейские ворота» на границах исполнения и лестница эскалации с общим бюджетом.
  • LIBERO-Pro (3000 эпизодов, 60 задач): 95,9% успеха против 94,7% у лучшей одиночной политики из набора REA; шагов управления меньше на 25%, времени управления, на 17%.
  • RoboTwin 2.0 (отдельное исследование на 100 эпизодах): 84% с VLA-политиками и 86% с VLA и кодом против 80% у сильнейшей одиночной VLA-политики MEDex.
  • Авторы заявляют перенос на BEHAVIOR-1K и реального гуманоида Unitree G1, но числа для них в источнике не приведены.

Почему это важно

Связка из медленного планировщика на базе базовой модели и быстрых политик управления, одна из центральных идей для воплощённых агентов (роботов). Практическая сложность в том, что вызовы «мозга» блокируют исполнение, а реакция на ошибки по принципу «позвать агента при сбое» приводит к повторным запускам запасных сценариев или пропуску тихих сбоев. REA предлагает архитектурный ответ: заранее знать, насколько надёжна каждая политика, и обращаться к «мозгу» только на границах исполнения, не заставляя работающие политики ждать.

Кому это важно

Исследователям и инженерам робототехники, которые строят системы на VLA-моделях и контроллерах всего тела и хотят подключить к ним планирование на базе базовых моделей. Также тем, кто сравнивает такие подходы: авторы отдельно указывают на проблему несовместимых стеков, на которых методы строят и оценивают.

Как это применить

Из источника следует идея архитектуры, а не готовый продукт. Для собственной системы можно взять принципы: измерять успешность каждой политики заранее и хранить её в памяти маршрутов, обращаться к «мозгу» по границам исполнения, а не по каждому сбою, и ограничивать восстановление общим бюджетом эскалации. Сведений о выпуске кода, данных или о том, какая модель служит «мозгом», в источнике нет.

Можно ли доверять

Источник, аннотация статьи; цифры в ней заявлены самими авторами. Имена авторов и организации в тексте не указаны. Преимущество на LIBERO-Pro невелико (95,9% против 94,7%), доверительных интервалов и проверки значимости не приводится. Для снижения шагов на 25% и времени на 17% не назван базовый вариант сравнения. Неясно, усреднены ли 84% и 86% на RoboTwin 2.0 по задачам и сколько задач использовано. Для BEHAVIOR-1K и реального Unitree G1 нет ни цифр, ни числа попыток на реальном роботе.

Риски и подводные камни

Заявленный результат на реальном гуманоиде не подкреплён числами, поэтому перенос из симуляции в реальный мир оценить нельзя. Сравнение на LIBERO-Pro идёт с лучшей политикой из собственного набора REA, а не с независимыми системами. Само по себе повышение успеха сопровождается дополнительными компонентами (память маршрутов, судейские ворота, лестница эскалации), сложность которых в источнике не оценивается; задержки в абсолютных единицах также не приведены.