HiPHI: датасет на 617,5 часа захвата движений для гуманоидных роботов

IEEE Spectrum и Wiley выпустили бесплатный white paper (отчёт), спонсируемый компанией Noitom Robotics. Он посвящён HiPHI, крупному набору данных по движению человека для обучения человекоподобных (гуманоидных) роботов.

Исходная проблема, как её формулирует описание: гуманоиды должны учиться балансировать, двигаться и взаимодействовать с предметами в огромном числе ситуаций, но доступные данные ограничены. Видео из интернета показывает разнообразное поведение, но не передаёт точные физические состояния. Лабораторные системы захвата движений фиксируют движение точно, однако обычно охватывают лишь узкий набор действий.

HiPHI, это 617,5 часа движений всего тела человека, записанных оптическим захватом движений с субмиллиметровой точностью. Из них 245,7 часа приходится на взаимодействие человека с предметами: к записям приложены синхронизированные траектории объектов и их трёхмерные сетки (meshes). По описанию, это делает данные полезными для обучения роботов реальным задачам вроде переноски, толкания и тяги. Охват движений организован с помощью FrameNet, лингвистической схемы описания человеческих действий.

Кроме того, в отчёте вводится набор тестов (benchmark suite) для измерения разнообразия движений и привязки взаимодействий к объектам. Приводятся и результаты политик, обученных на этих данных методом обучения с подкреплением: по описанию, они улучшаются с ростом масштаба данных, а перенос из симуляции в реальность (sim-to-real) позволяет развернуть их на физическом гуманоиде Unitree G1. Полный текст отчёта доступен по кнопке «LOOK INSIDE» после загрузки; здесь пересказано только описание на странице.

Ключевые факты

HiPHI, набор данных движений всего тела человека объёмом 617,5 часа, записанных оптическим захватом движений с субмиллиметровой точностью.
245,7 часа из них, взаимодействие человека с предметами, с синхронизированными траекториями и трёхмерными сетками объектов.
Покрытие действий структурировано с помощью FrameNet, лингвистической схемы описания человеческих действий.
В отчёте вводится набор тестов для оценки разнообразия движений и привязки взаимодействий к объектам.
Политики, обученные на данных, развёрнуты на физическом гуманоиде Unitree G1; отчёт спонсирует Noitom Robotics.

Почему это важно

Нехватка качественных данных, одно из узких мест обучения гуманоидных роботов. Описание противопоставляет видео из интернета (много разнообразия, но нет точных физических состояний) и лабораторный захват движений (точно, но узкий набор действий). HiPHI претендует на то, чтобы закрыть этот разрыв: большой объём, высокая точность и широкое покрытие действий.

Кому это важно

Исследователям и инженерам в робототехнике и области воплощённого ИИ (embodied AI, Physical AI), особенно тем, кто обучает гуманоидов манипулировать предметами: переносить, толкать, тянуть. Отчёт адресован именно этой аудитории.

Как это применить

Отчёт распространяется бесплатно: его можно скачать на странице издателя по кнопке «LOOK INSIDE». Из описания не видно, опубликован ли сам набор данных и на каких условиях, поэтому сначала стоит прочитать полный текст отчёта.

Можно ли доверять

Это рекламно-спонсорская страница-обложка отчёта, а не независимое исследование и не рецензируемая статья. Спонсор, Noitom Robotics, издатели, IEEE Spectrum и Wiley. Авторы работы на странице не названы. Количественных результатов (доли успешных запусков, сравнений, цифр масштабирования) на странице нет, так что заявления о том, что политики «улучшаются с масштабом», пока проверить нечем.

Риски и подводные камни

Оценивать можно только описание, а не сам отчёт. Неизвестно, на каких задачах и насколько удачно сработал перенос на Unitree G1, сколько в данных участников, категорий объектов и схем FrameNet. Спонсорский формат предполагает, что отчёт выставляет результаты в выгодном свете.