EmbodiedSWE: ИИ-агенты-программисты учат роботов сложным манипуляциям
Учёные изучили, могут ли решения коддинг-агентов (ИИ-агентов, пишущих и выполняющих код) служить масштабируемым источником обучающих данных для универсальных робото-политик. Для проверки они создали симуляционный бенчмарк EmbodiedSWE-Bench, охватывающий манипуляции с контактным взаимодействием, деформируемыми объектами и долгие задачи, требующие до получаса непрерывного взаимодействия. Оказалось, что передовые коддинг-агенты способны решать такие сложные долгие задачи и переносить найденные решения между разными задачами и разными типами роботов (эмбодиментами). Авторы также разработали вспомогательные инструменты, помогающие агентам эффективнее справляться с этими задачами. Однако готовые решения агентов требуют множества итераций взаимодействия со средой и, как правило, заточены под конкретный экземпляр задачи, а не обобщаются сами по себе. Поэтому исследователи представили метод EmbodiedSWE-Gen, который берёт одно решение коддинг-агента и разворачивает его в большое разнообразие обучающих траекторий для VLA-модели (vision-language-action, модели «видение-язык-действие» для управления роботом). Показано, что качество VLA растёт по мере увеличения числа сгенерированных демонстраций, а разнообразие, добавленное агентами, улучшает обобщение модели на новые, ранее не встречавшиеся варианты задач. Наконец, авторы продемонстрировали, что VLA-модель, дообученная исключительно на симуляционных демонстрациях, сгенерированных коддинг-агентами, успешно выполнила долгую задачу на настоящем физическом роботе. В целом фреймворк использует коддинг-агентов для решения сложных робототехнических задач и превращает проверенные решения в масштабируемый источник обучающих сигналов для робото-политик.
Ключевые факты
- Представлен симуляционный бенчмарк EmbodiedSWE-Bench: контактные манипуляции, деформируемые объекты и долгие задачи (до получаса непрерывного взаимодействия)
- Передовые коддинг-агенты решают сложные долгие задачи и переносят решения между задачами и типами роботов
- Готовые решения агентов требуют множества итераций и обычно узко заточены под конкретный случай, а не обобщаются
- Метод EmbodiedSWE-Gen разворачивает одно решение агента в разнообразный набор траекторий для обучения VLA-модели робота
- VLA-модель, обученная только на сгенерированных агентами данных, успешно выполнила долгую задачу на реальном роботе
Почему это важно
Работа предлагает новый источник обучающих данных для роботов: вместо дорогой сборки демонстраций людьми решения находят ИИ-агенты-программисты, а затем их единичные решения размножаются в разнообразные траектории для обучения моделей управления роботом (VLA). Это ещё один шаг к масштабируемому и дешёвому сбору данных для сложных, долгих и «ловких» (dexterous) робототехнических задач.
Кому это важно
В первую очередь исследователям в области робототехники и разработчикам VLA-моделей, а также командам, которые ищут способы масштабировать сбор обучающих данных без ручного управления роботом человеком.
Как это применить
Авторы предлагают конкретный рецепт: сначала дать коддинг-агенту решить сложную задачу в симуляции, затем методом EmbodiedSWE-Gen размножить это единственное решение в большое число разнообразных траекторий и обучить на них VLA-модель. Показано, что итоговая модель переносится с симуляции на реального робота.
Можно ли доверять
Источник, научная публикация на HuggingFace Papers с описанием бенчмарка EmbodiedSWE-Bench и метода EmbodiedSWE-Gen; текст содержит конкретные утверждения авторов о переносимости решений и работе на реальном роботе. При этом в доступном тексте не названы авторы, институты, дата публикации, а также отсутствуют конкретные числовые результаты (проценты успеха, точные метрики), судить о масштабе улучшений можно только качественно.
Риски и подводные камни
Ключевая оговорка самих авторов: решения коддинг-агентов требуют множества итераций взаимодействия со средой и обычно узко заточены под конкретный экземпляр задачи, без дополнительного шага генерации разнообразия (EmbodiedSWE-Gen) они плохо обобщаются. Кроме того, в источнике не раскрыто, какие именно роботы использовались в демонстрации на реальном оборудовании и насколько представительна одна успешная демонстрация для более широкого класса задач.
«Мы обнаружили, что передовые коддинг-агенты способны решать сложные долгие задачи и переносить прежние решения как между задачами, так и между разными типами роботов.»
— авторы исследования EmbodiedSWE