Open-HumanScale: открытый рецепт обучения роботов на 50 000 часов видео от первого лица

В препринте представлен Open-HumanScale. Авторы называют его первым полностью открытым рецептом масштабирования предобучения на видео от первого лица (egocentric) до 50 000 часов. Исходная идея: такое видео людей, масштабируемый источник знаний о манипуляциях для обучения роботов, но превратить большой объём сырых данных в обобщающую политику робота можно только при тщательной подготовке данных и продуманном обучении.
Основа рецепта, корпус Open-HumanScale-50K: отобранные видео от первого лица с плотной разметкой движений рук и описаниями на естественном языке. На нём авторы системно изучили предобучение только на видео людей с помощью оценки в замкнутом цикле в симуляции и, по их словам, обнаружили эмпирический лог-линейный закон масштабирования: связь между числом часов данных предобучения и успешностью робота на последующих задачах.
Опираясь на это, авторы построили HumanWAM-Vanilla, модель «мир, действие» (world-action model), предобученную исключительно на 50 тысячах часов видео людей от первого лица. После дообучения на данных робота она достигает 92,08% успеха на RoboTwin 2.0 в сценарии Clean2Clean и 68,88% в сценарии Clean2Random, а также 14,17% среднего успеха и 19,00 среднего балла прогресса на RoboDojo.
Дальше авторы исследуют совместное предобучение на данных людей и роботов с помощью HumanWAM-Goal, модели «мир, действие», зависящей от визуальной цели. Смешанное масштабирование данных, как сказано в аннотации, даёт широкое обобщение без дообучения (zero-shot) и в симуляции, и на физических тестах, а результат RoboTwin 2.0 после дообучения выходит на новый уровень state-of-the-art: 92,70% на Clean2Clean и 84,60% на Clean2Random. На физических роботах HumanWAM-Goal, по заявлению авторов, проявляет возникающее воплощённое обучение в контексте (embodied in-context learning): подстраивает манипуляции под ранее не виденные визуальные цели без обновления параметров.
Для воспроизводимости исследований авторы открывают корпус Open-HumanScale-50K, конвейеры отбора данных и предобучения, предобученные и дообученные чекпоинты HumanWAM, код инференса и наборы для оценки в симуляции.
Ключевые факты
- Open-HumanScale, по словам авторов, первый полностью открытый рецепт масштабирования предобучения на видео от первого лица до 50 000 часов; основа, корпус Open-HumanScale-50K с разметкой движений рук и текстовыми описаниями.
- В симуляции при предобучении только на видео людей авторы нашли эмпирический лог-линейный закон: число часов данных связано с успешностью робота на последующих задачах.
- HumanWAM-Vanilla (только видео людей, затем дообучение на данных робота): 92,08% на RoboTwin 2.0 Clean2Clean, 68,88% на Clean2Random, 14,17% среднего успеха и 19,00 среднего балла прогресса на RoboDojo.
- HumanWAM-Goal (совместное предобучение на людях и роботах): 92,70% на Clean2Clean и 84,60% на Clean2Random после дообучения, заявленный новый state-of-the-art на RoboTwin 2.0.
- Открыты корпус, конвейеры, чекпоинты, код инференса и симуляционные наборы для оценки.
Почему это важно
Данные о действиях роботов собирать дорого, а видео людей от первого лица, масштабируемый источник знаний о манипуляциях. Работа показывает, как довести такое предобучение до 50 000 часов, и заявляет закономерность: чем больше часов, тем выше успех робота на последующих задачах (лог-линейная зависимость в симуляции). Если она подтвердится независимыми проверками, это ориентир для планирования объёма данных. Дополнительный интерес, полностью открытый набор: корпус, конвейеры и чекпоинты.
Кому это важно
Исследователям робототехники и воплощённого ИИ, которые обучают базовые модели для роботов и ищут воспроизводимую основу. Командам, работающим с видео от первого лица и разметкой движений рук. Тем, кто сравнивает результаты на RoboTwin 2.0 и RoboDojo.
Как это применить
Согласно аннотации, авторы открывают корпус Open-HumanScale-50K, конвейеры отбора данных и предобучения, чекпоинты HumanWAM (предобученные и дообученные), код инференса и симуляционные наборы для оценки. Это позволяет воспроизвести эксперименты или взять чекпоинты как точку старта. Дату выпуска, лицензию и ссылки на скачивание аннотация не называет.
Можно ли доверять
Все цифры и выводы приведены по аннотации препринта и принадлежат самим авторам; независимой проверки в тексте нет. Аннотация не называет авторов и организации, не даёт базовых значений и прежних рекордов для RoboTwin 2.0 и RoboDojo, поэтому величина улучшения по ней не оценивается. Коэффициенты закона масштабирования тоже не приведены. Утверждение «первый полностью открытый рецепт», самооценка авторов.
Риски и подводные камни
Закон масштабирования получен в замкнутом цикле в симуляции при предобучении только на видео людей, и его перенос на реальных роботов не гарантирован. Показатели на RoboDojo (14,17% среднего успеха и 19,00 среднего балла прогресса) даны только для HumanWAM-Vanilla и остаются невысокими в абсолютных значениях. Аннотация не уточняет, какие физические роботы и сколько реальных задач использовались, каковы размеры моделей и затраты вычислений, откуда взяты видео. Эти детали нужно искать в полном тексте работы.