Pollen Robotics выпустила Grabette, открытый гаджет для записи данных обучения роботов

Компания Pollen Robotics опубликовала в блоге Hugging Face анонс Grabette, открытой недорогой системы для записи данных о манипуляциях объектами, которые нужны для обучения роботов. Идея в том, что для сбора обучающих демонстраций не нужен сам робот: достаточно ручного захвата (гриппера) с камерами, который человек держит в руке и выполняет им задачу, например, берёт предмет и перекладывает его. Устройство фиксирует шестистепенную (6-DoF) траекторию движения, видео и состояние захвата, а затем превращает запись в готовый датасет в формате LeRobot, который можно опубликовать на Hugging Face Hub.

Авторы объясняют мотивацию так: у робототехники уже есть мощные архитектуры политик (трансформерные VLA, диффузионные и flow-matching модели, модели мира) и вычислительные мощности для их обучения, но не хватает больших разнообразных наборов реальных данных о манипуляциях. Телеуправление роботом для сбора таких данных дорого и утомительно: нужен сам робот, а процесс долгий и плохо масштабируется на разнообразие задач и обстановки.

Grabette прямо вдохновлён проектом Universal Manipulation Interface (UMI) Стэнфордского университета, ручным гриппером с широкоугольной (fisheye) камерой, который восстанавливает траекторию камеры методом SLAM и на этой основе обучает визуомоторные политики. Авторы отмечают, что похожие закрытые устройства уже существуют: гриппер MEgo от Agibot, гриппер DAS от Genrobot и перчатка для захвата навыков от Sunday Robotics. Цель Pollen Robotics, сделать процесс максимально простым, чтобы путь от «есть задача» до «есть обученная модель» занимал минимум усилий.

Аппаратно Grabette несёт две камеры с разными задачами: дешёвую широкоугольную fisheye-камеру, которая даёт политике контекстный вид (как у камеры на запястье робота), и RGBD-камеру (модель OAK-D) с датчиками глубины, которая отвечает за точное 6-DoF отслеживание положения. В устройство также встроены Raspberry Pi, стандартная камера для Pi и магнитные энкодеры, все компоненты можно свободно купить, инструкции по сборке открыты на GitHub. Формат данных не привязан к конкретной модели робота: демонстрация хранится как локальная относительно камеры 6-DoF поза и состояние захвата, поэтому один и тот же датасет можно применять для разных роботов и методов обучения.

У Grabette есть робототехническая пара, Gripette, захват для руки промышленного манипулятора, который исполняет движения, которым модель обучилась по записям Grabette. Работа с системой выглядит так: нажатие кнопки запускает синхронную запись с обеих камер (цвет, глубина, IMU) и энкодера захвата по единому таймеру, повторное нажатие останавливает запись и сохраняет эпизод локально на Raspberry Pi. Далее пользователь открывает веб-панель Grabette в браузере, выбирает нужные эпизоды и одним кликом запускает постобработку, устанавливать ничего не нужно, обработка идёт через Hugging Face Space.

Чтобы показать цикл целиком, Pollen Robotics опубликовала пример: 200 записанных демонстраций, из которых собран датасет и обучена политика, оба артефакта выложены на Hugging Face (датасет и модель доступны по прямым ссылкам в блоге). Авторы подчёркивают, что это лишь иллюстрация возможностей, а не готовый продукт: сам релиз, это именно система записи, и её данные совместимы с любым методом, который работает с датасетами LeRobot.

Главная цель проекта, открытый коллективный датасет манипуляций, который ни одна отдельная лаборатория не могла бы собрать в одиночку: любой человек может собрать Grabette, записать интересующие его задачи и поделиться данными на Hugging Face Hub. Проект развивается уже несколько месяцев, и команда считает его достаточно зрелым для публичного релиза. В разработке уже следующий компонент, Casquette, наголовное устройство для эгоцентричной съёмки (POV), которое дополнит Grabette, но пока находится в стадии работы.

Ключевые факты

Grabette, открытое недорогое ручное устройство для записи демонстраций манипуляций объектами без использования самого робота
Собрано из доступных компонентов: Raspberry Pi, камера для Pi, RGBD-камера OAK-D, широкоугольная fisheye-камера, магнитные энкодеры; инструкции сборки открыты на GitHub
Записи автоматически конвертируются в датасет формата LeRobot и публикуются на Hugging Face Hub через веб-панель без установки ПО
Проект прямо вдохновлён UMI (Universal Manipulation Interface) Стэнфорда; у Grabette есть парное устройство Gripette, робо-захват, исполняющий обученные движения
Опубликован пример: 200 демонстраций дали датасет и обученную политику, доступные на Hugging Face; в разработке, головное устройство Casquette для съёмки от первого лица

Почему это важно

Робототехника, по словам авторов, уже располагает мощными архитектурами политик, трансформерными VLA, диффузионными и flow-matching моделями, и вычислительными мощностями для их обучения. Дефицит в другом: не хватает больших и разнообразных наборов реальных данных о манипуляциях объектами. Телеуправление роботом ради сбора таких данных дорого и утомительно и требует наличия самого робота, что плохо масштабируется на разнообразие задач. Grabette убирает это требование: демонстрацию можно записать просто рукой, без робота, лаборатории и телеуправления.

Кому это важно

Прежде всего, исследователям и командам, которые обучают визуомоторные политики для роботов-манипуляторов (VLA, диффузионные и flow-matching модели) и уже работают с экосистемой Hugging Face и форматом датасетов LeRobot. Также это интересно открытому робототехническому сообществу и энтузиастам без доступа к дорогому оборудованию: собрав недорогое устройство, любой человек может внести свой вклад в общий датасет манипуляций.

Как это применить

Устройство собирается из доступных компонентов (Raspberry Pi, камера для Pi, RGBD-камера OAK-D, магнитные энкодеры) по открытым инструкциям на GitHub. Запись демонстрации запускается и останавливается кнопкой: одновременно и синхронно по общему таймеру пишутся видео с обеих камер и показания энкодера захвата, данные сохраняются локально на Raspberry Pi. Дальше эпизоды выбираются и обрабатываются в веб-панели Grabette в один клик, обработка идёт через Hugging Face Space, ничего локально устанавливать не нужно, а итоговый датасет в формате LeRobot публикуется на Hugging Face Hub. Чтобы реально исполнить обученную по этим данным политику на роботе, на манипулятор нужно установить парный захват Gripette.

Можно ли доверять

Материал опубликован в официальном блоге Hugging Face, автор релиза, робототехническая компания Pollen Robotics, которая прямо указана в тексте («Built with ❤️ by Pollen Robotics»). Проект целиком открытый: инструкции сборки на GitHub, обработка через Hugging Face Space, датасеты и обученная модель-пример выложены на Hugging Face Hub по прямым ссылкам. Подход прямо опирается на уже известную и проверенную работу, Universal Manipulation Interface (UMI) Стэнфордского университета, на что авторы честно ссылаются, а не выдают идею за полностью собственную. На момент публикации у материала пока нет очков и комментариев на площадке, это свежий релиз без внешней обратной связи.

Риски и подводные камни

Устройство нужно физически собрать самому по инструкциям, это требует времени и определённой аккуратности со сборкой электроники и калибровкой. Ключевая цель проекта, большой и разнообразный коллективный датасет, зависит от того, насколько широко сообщество реально станет собирать и делиться данными: без массового участия датасет не наберёт заявленного масштаба и разнообразия. Чтобы обученная политика реально заработала на роботе, а не осталась только в датасете, нужен ещё и парный захват Gripette, установленный на подходящий манипулятор. Сами авторы называют релиз началом проекта, который «продолжит развиваться», а анонсированное дополнение Casquette для эгоцентричной съёмки прямо помечено как незавершённая работа.

«Проблему нехватки данных не решит одна лаборатория, её решит сообщество, которое записывает демонстрации повсюду.»

— команда Grabette, блог Hugging Face