PyRUA-DataFarm: ИИ-агент вместо телеоператора собирает данные для роботов
Авторы статьи исходят из того, что телеоперация остаётся основным способом собирать демонстрации для роботов, но каждый эпизод стоит времени робота и оператора, а каждая новая задача начинается с нуля. Они спрашивают, может ли кодирующий агент взять на себя работу телеоператора, и предлагают систему PyRUA-DataFarm («ферма данных»).
Как это работает. Агент получает запрос на данные и один калибровочный эпизод робота в целевой сцене. По ним он воссоздаёт задачу в симуляторе: пишет сцену, экспертный контроллер и судью успеха (код, который решает, выполнена ли задача). Симулятор даёт точные действия робота, а видеомодель, обусловленная реальными изображениями, превращает каждый прогон в фотореалистичное видео, согласованно генерируя сразу все ракурсы камер. На выходе получаются синхронизированные виды с камер, размеченные действиями робота: на них можно напрямую обучать политику и запускать её на реальном роботе. Независимые судьи сертифицируют эксперта и каждый отрисованный эпизод до допуска в набор.
Результаты. На пяти задачах с реальным роботом политики, обученные только на данных фермы, сравнялись с политиками, обученными на столько же телеоперированных эпизодов: 93 успеха против 84 в 100 испытаниях (в пользу фермы). При смене условий (незнакомая скатерть и цветной свет) политики на данных фермы сохранили 87 успехов, а политики на телеоперации упали до 46.
Стоимость. Адаптация задачи полностью автоматическая и обходится в среднем в 21 за использование API (платится один раз на задачу), плюс 5 за контракт на рендеринг. Каждый следующий эпизод стоит в среднем 0,80 за симуляцию, рендеринг и проверку, без робота и оператора. Час данных с трёх камер по одной задаче в среднем стоит 107 с учётом всех этих расходов. Это немного ниже предложения в 117 за телеоперацию в Китае и ниже 290 только за труд в Северной Америке.
Ключевые факты
- Кодирующий агент по запросу и одному калибровочному эпизоду воссоздаёт задачу в симуляторе: пишет сцену, экспертный контроллер и судью успеха.
- Видеомодель превращает прогоны симулятора в фотореалистичное видео со всех камер; на выходе данные с камер, размеченные действиями робота, для прямого обучения политики.
- На пяти реальных задачах политики, обученные только на данных фермы, получили 93 успеха против 84 у обученных на телеоперации (в 100 испытаниях).
- С незнакомой скатертью и цветным светом политики фермы сохранили 87 успехов, телеоперационные упали до 46.
- Адаптация задачи в среднем стоит 21 за API плюс 5 за рендер, каждый следующий эпизод около 0,80; час данных с трёх камер около 107 против 117 в Китае по телеоперации.
Почему это важно
Сбор демонстраций через телеоперацию остаётся узким местом в обучении роботов: каждый эпизод занимает робота и человека, а новая задача требует начинать сначала. Работа предлагает заменить оператора агентом и симулятором и при этом получать данные, пригодные для реального робота. Заявленный результат: на пяти реальных задачах политики на данных фермы не уступили политикам на телеоперации, а при смене условий сохранили заметно больше успехов (87 против 46).
Кому это важно
Командам, которые обучают манипуляционные политики для роботов и упираются в стоимость и скорость сбора демонстраций. Также тем, кто следит за тем, как кодирующие агенты выходят за рамки программирования и начинают строить симуляции и данные для физических систем.
Как это применить
Прямой рецепт в источнике не дан: система описана как исследовательская «ферма данных». Схема такая: один калибровочный эпизод робота в целевой сцене и запрос на данные, дальше агент сам строит симуляцию, видеомодель рисует видео, судьи проверяют эпизоды. По заявленной стоимости это около 21 за адаптацию задачи плюс 5 за контракт на рендеринг, затем около 0,80 за эпизод; час данных с трёх камер в среднем выходит в 107.
Можно ли доверять
Это препринт, цифры взяты из аннотации и получены самими авторами; независимой проверки в тексте нет. Из того, что известно, результат на реальных роботах (пять задач) звучит убедительно, но в аннотации не названы авторы, агент, видеомодель и симулятор. Символы валют в тексте искажены, поэтому денежные суммы здесь приведены как в источнике, без уточнения валюты.
Риски и подводные камни
Из текста не видно, какие именно пять задач и какой робот использовались, а также сколько испытаний было в тесте со скатертью и цветным светом и относится ли «100 испытаний» к каждой задаче или ко всем вместе. Разница 93 против 84 успехов невелика, и по описанию нельзя судить, насколько она устойчива. Сравнение стоимости опирается на средние значения и на одно предложение из Китая и оценку труда в Северной Америке; единицы и валюта последней суммы в тексте не раскрыты. Не сказано и то, опубликованы ли код и данные.
«Мы задаёмся вопросом, может ли кодирующий агент взять на себя работу телеоператора.»
— авторы статьи о PyRUA-DataFarm