Предложен H2RB: роботов дообучают на демонстрациях людей

Предобученные модели «зрение, язык, действие» (Vision-Language-Action, VLA) дают сильную стартовую точку для робота, но чтобы приспособить их к конкретному роботу и среде, по-прежнему нужны дорогие демонстрации, снятые именно на этом роботе. Демонстрации людей собирать гораздо проще, однако напрямую использовать их трудно из-за большого разрыва между человеком и роботом (embodiment gap), особенно если VLA предобучали в основном на данных роботов.

В препринте предложен H2RB (Human-To-Robot Bridge), фреймворк совместного обучения на людях и роботах, который адаптирует предобученные VLA-политики по непарным демонстрациям: человеческие и роботные записи не обязаны соответствовать друг другу. Разрыв закрывается на двух стыках. Во-первых, выравнивание на основе геометрии (geometry-anchored alignment) переводит наблюдения человека и робота в совместимое представление. Во-вторых, токенизатор с раздельными декодерами делит между доменами скрытые представления действий, но не заставляет оба домена проходить через одно общее отображение действий. По заявлению авторов, так демонстрации людей дают полезный поведенческий сигнал, а у предобученной VLA сохраняются её визуальные, семантические и управляющие знания.

Результаты на реальных задачах: перенос на объекты (object transfer) вырос с 8,0 до 51,8, перенос навыка (skill transfer) достиг 62,7, в условиях, где базовые методы совместного обучения, по словам авторов, полностью не справляются с переносом навыков, показанных людьми. Эффект сохраняется и при сдвиге расположения объектов: перенос за пределы обучающего распределения (out-of-distribution) вырос с 6,0 до 45,3. Единицы измерения этих чисел в аннотации не указаны.

Вывод авторов осторожный: H2RB «предлагает путь», как использовать демонстрации людей в качестве масштабируемого источника обучающего сигнала для адаптации предобученных политик роботов и снизить зависимость от дорогого сбора данных на целевом роботе.

Ключевые факты

H2RB (Human-To-Robot Bridge), фреймворк совместного обучения, который адаптирует предобученные VLA-политики по непарным демонстрациям людей и роботов.
Разрыв между человеком и роботом закрывают на двух стыках: геометрическое выравнивание наблюдений и токенизатор действий с раздельными декодерами.
В реальных задачах перенос на объекты вырос с 8,0 до 51,8, а перенос навыка достиг 62,7, где базовые методы совместного обучения, по словам авторов, полностью не справляются.
При сдвиге расположения объектов перенос вне обучающего распределения вырос с 6,0 до 45,3.
Авторы осторожно заключают, что демонстрации людей могут стать масштабируемым источником обучения и сократить затраты на сбор данных на целевом роботе.

Почему это важно

Сбор демонстраций на конкретном роботе остаётся дорогой частью внедрения предобученных VLA-политик. Человеческие демонстрации собирать проще, но разрыв между человеком и роботом мешал их использовать, особенно для моделей, обученных в основном на данных роботов. H2RB, попытка закрыть этот разрыв без парных данных и без потери знаний, заложенных в предобученной модели.

Кому это важно

Исследователям и командам, которые занимаются робототехникой и дообучением VLA-политик, а также тем, кого тормозит стоимость сбора данных на целевом роботе. Работа также интересна тем, кто следит за переносом обучения с видео и демонстраций людей на роботов.

Как это применить

Напрямую применять пока нечего: в аннотации не описаны релиз кода или данных. Практический вывод для специалистов, идея разделить задачу на два стыка (общее геометрическое представление наблюдений и общие скрытые действия с раздельными декодерами) и проверить её на своей VLA-политике, когда появятся детали метода.

Можно ли доверять

Это препринт, и пересказ опирается только на аннотацию. В ней нет названий авторов и организаций, не указаны единицы измерения чисел, не названы роботы, число задач и попыток, объём данных и конкретная предобученная VLA. Для навыков не даны значения базовых методов, а сравнение с именованными методами отсутствует. Все оценки, заявления самих авторов, независимой проверки пока нет.

Риски и подводные камни

Рост показателей, например с 8,0 до 51,8, нельзя интерпретировать как проценты успеха: метрика не названа. Цифры получены на реальных задачах, но без сведений об их числе и разнообразии неясно, насколько результат обобщается. Сами авторы формулируют вывод осторожно (H2RB «предлагает путь»), так что говорить о решённой проблеме разрыва между человеком и роботом рано.