HexaShell: кодирующий агент на GPT-6-Astra управляет двурукой робо-системой и ставит рекорд на RoboDojo
Авторы работы задались вопросом: как далеко может зайти кодирующий агент, если управляет не компьютером, а роботом, и где он упирается в предел. Их система HexaShell намеренно сделана «тонкой»: она лишь превращает команды агента в движения робота. Агент управляет роботом с двумя руками через одну командную строку, видит три RGB-камеры и знает их калибровку.
Ключевая идея, обучение через код. После каждой неудачной попытки агент читает журнал, находит причину и пишет или чинит небольшие программы, «инструменты» (tools). Так накопленный опыт сохраняется в виде кода, как когда программист исправляет упавший тест. Инструменты могут использовать только то, что робот наблюдает. Для поиска объектов относительно друг друга и захвата они применяют триангуляцию: если две камеры видят одну точку, она лежит там, где пересекаются два луча; если точка лежит на известной плоскости (стол, верх кубика), она находится на пересечении луча с этой плоскостью. Когда головной камеры недостаточно, робот передвигает запястную камеру, чтобы получить второй ракурс.
Проверка устроена так: инструменты строят всего на десяти раскладках одного seed (начального значения генератора) на каждую задачу, затем замораживают и тестируют на десяти новых раскладках того же seed. Использован Codex с GPT-6-Astra при среднем уровне рассуждения (medium reasoning effort).
Результат: на всех 42 задачах RoboDojo HexaShell достигает успеха 39,7% и показателя прогресса 48,0 (усреднение, как в таблице лидеров). Авторы называют это новым рекордом на RoboDojo. По категориям картина неравномерна: толкание, 92,5%, задачи на память, 65,0%, а точная вставка (tight insertion), лишь 8,3%. Авторы делают вывод: предел задаёт контакт, а не рассуждение, при неудаче агент обычно видит ошибку, но не может добиться нужного движения. Инструменты, наработанные к настоящему моменту, выложены в открытый доступ (github.com/HexaFuture/HexaShell).
Ключевые факты
- HexaShell, «тонкая» обвязка: только превращает команды кодирующего агента в движения двурукого робота через одну командную строку; агент видит три RGB-камеры с известной калибровкой.
- После каждой неудачи агент читает журнал, находит причину и пишет или чинит небольшие программы-инструменты; для локализации объектов они используют триангуляцию, а при нехватке обзора робот переставляет запястную камеру.
- На всех 42 задачах RoboDojo заявлены успех 39,7% и показатель прогресса 48,0, авторы называют это новым рекордом; использован Codex с GPT-6-Astra при среднем уровне рассуждения.
- По категориям: толкание 92,5%, память 65,0%, точная вставка только 8,3%, по мнению авторов, предел в контакте, а не в рассуждении.
- Инструменты строили на десяти раскладках одного seed на задачу, затем заморозили и проверили на десяти новых раскладках того же seed; наработанные инструменты открыты на GitHub.
Почему это важно
Работа показывает, как далеко можно продвинуться в управлении роботом, если вместо обученной политики использовать кодирующего агента на базе VLM (модели, понимающей изображения и текст). По словам авторов, такие агенты уже соревнуются с обученными политиками в таблицах лидеров по манипуляции. Заявленный результат, 39,7% успеха на 42 задачах RoboDojo, авторы называют новым рекордом. Не менее интересен вывод о границе: агент хорошо справляется с толканием (92,5%) и задачами на память (65,0%), но проваливается на точной вставке (8,3%), узким местом оказывается физический контакт, а не планирование.
Кому это важно
Исследователям робототехники и разработчикам агентных систем, которые решают, чем управлять манипулятором: обученной политикой или агентом, пишущим код. Также тем, кто строит обвязки для кодирующих агентов вне привычной среды разработки: подход переносит практику «починить упавший тест» на физический мир.
Как это применить
Авторы выложили наработанные инструменты в открытый доступ: github.com/HexaFuture/HexaShell. Сама схема описана в работе: одна командная строка для агента, три калиброванные RGB-камеры, цикл «неудача, разбор журнала, правка инструмента», триангуляция по лучам камер и по известным плоскостям. Какое именно оборудование использовалось и что требуется для повторения, в тексте не сказано, поэтому оценить стоимость воспроизведения по этому материалу нельзя.
Можно ли доверять
Это препринт: цифры приведены самими авторами и опираются на их собственный запуск на RoboDojo с усреднением, как в таблице лидеров. В тексте не названы предыдущий рекорд на RoboDojo, поэтому величина улучшения неизвестна; не указаны авторы и организации, а также используемое оборудование. Модель GPT-6-Astra упомянута лишь как использованная, подробностей о ней нет. Открыты только наработанные инструменты, а оборудование и условия воспроизведения не названы, поэтому независимо проверить результаты по этому материалу нельзя.
Риски и подводные камни
Сильнее всего ограничивает контактная манипуляция: точная вставка получилась лишь в 8,3% случаев, и агент, по словам авторов, обычно видит сбой, но не может добиться нужного движения. Инструменты строились и проверялись на раскладках одного seed на задачу, так что обобщение на другие условия этим тестом не подтверждено. Для категорий приведены только три результата (толкание, память, точная вставка), а затраты, задержки и число итераций агента не названы. В открытый доступ выложены только инструменты, наработанные к настоящему моменту.