Представлен TouchScale: 500 часов данных о зрении и осязании человека для обучения роботов
Исследователи представили TouchScale, набор данных на 500 часов о том, как человек взаимодействует с предметами руками. Все записи сделаны на одной и той же носимой установке: каждая запись синхронизирует видео от первого лица с данными о глубине (RGB-D), видео с запястья (RGB) и плотные измерения касания всей кисти обеих рук. Набор охватывает примерно 2 тысячи заранее заданных описаний задач, от повседневных действий до структурированных манипуляций.
Мотивация авторов такова. Видео от первого лица становится важным источником физического обучения для воплощённого ИИ, но по видео не видно контакта и давления, того, что и определяет физическое взаимодействие. Существующие визуально-тактильные наборы данных эту недостающую информацию дают, однако синхронизированных данных о касании в них гораздо меньше, чем обычного видео. Кроме того, самые крупные ресурсы часто смешивают записи с разных датчиков или с разными процедурами разметки, из-за чего трудно выделить именно влияние масштаба данных. TouchScale записан на единой установке и единым протоколом, чтобы этот эффект можно было измерить.
Результаты, которые приводят авторы. Обучение на полном TouchScale по сравнению с прежними тактильными данными поднимает метрику контакта без дообучения (zero-shot contact IoU) на данных от незнакомого тактильного датчика с 0,134 до 0,383. Визуальный энкодер, предобученный на TouchScale, показал наивысшую точность распознавания действий на трёх бенчмарках среди сравниваемых визуально-тактильных наборов. Когда TouchScale использовали для визуально-тактильного промежуточного дообучения (mid-training) политики робота, средняя успешность в реальном мире в четырёх контактных манипуляционных задачах выросла с 22,5% до 57,5%.
При неизменных датчике и протоколе сбора, как пишут авторы, и предсказание касания без дообучения, и успешность робота в целом растут по мере увеличения доли данных TouchScale, это общая тенденция, а не строго монотонный рост. Авторы делают вывод, что визуально-тактильные данные о человеке, собранные в большом масштабе с единообразным сенсорным оснащением, помогают и восприятию, и роботизированной манипуляции. Они обещают публично выложить TouchScale, все синхронизированные визуально-тактильные записи и реконструированные модели объектов.
Ключевые факты
- TouchScale, набор данных на 500 часов контактного взаимодействия человека с предметами, записанный на одной носимой установке: видео от первого лица с глубиной, видео с запястья и плотные измерения касания всей кисти обеих рук.
- Обучение на полном TouchScale поднимает метрику zero-shot contact IoU на данных от незнакомого тактильного датчика с 0,134 до 0,383 (по сравнению с прежними тактильными данными).
- Визуальный энкодер, предобученный на TouchScale, даёт наивысшую точность распознавания действий на трёх бенчмарках среди сравниваемых визуально-тактильных наборов.
- Визуально-тактильное промежуточное дообучение политики робота на TouchScale подняло среднюю успешность в реальном мире в четырёх контактных задачах с 22,5% до 57,5%.
- Авторы обещают публично выложить набор и реконструированные модели объектов; на странице нет даты выхода и ссылки.
Почему это важно
Роботам-манипуляторам не хватает данных о физическом контакте: видео показывает движения, но не давление и касание. Тактильные данные существуют, но по объёму сильно уступают видео, а самые большие наборы склеены из записей с разных датчиков и процедур разметки, поэтому сложно понять, что именно даёт масштаб. TouchScale, попытка получить большой набор с единой установкой и единым протоколом, на котором эффект масштаба можно измерить. Авторы сообщают, что на нём растут и качество предсказания касания, и успешность робота в реальных задачах.
Кому это важно
Исследователям в области робототехники и воплощённого ИИ, которые обучают политики манипуляции и ищут источники контактных данных. Также тем, кто работает над тактильными датчиками и моделями восприятия касания: в статье проверяется перенос на данные от незнакомого датчика.
Как это применить
Пока набор нельзя взять и использовать: авторы только обещают публичный релиз TouchScale вместе с синхронизированными записями и реконструированными моделями объектов. Даты выпуска, репозитория и ссылки на скачивание в источнике нет. Практический вывод на сегодня, идея схемы: предобучать визуальный энкодер на визуально-тактильных записях человека и использовать их для промежуточного дообучения политики робота перед настройкой на конкретные задачи.
Можно ли доверять
Все цифры, собственные результаты авторов из аннотации статьи. В аннотации не названы ни авторы, ни организации. Не указаны использованные тактильные датчик и носимое оборудование, робот и четыре реальные задачи, а также число испытаний, стоящих за 22,5% и 57,5%. Не названы сравниваемые наборы данных и три бенчмарка по распознаванию действий, а значения точности для них не приведены. Формулировки самих авторов осторожные: результаты «позволяют предположить» пользу масштабных данных, а рост с объёмом назван общей тенденцией, а не строгим выигрышем на каждом шаге.
Риски и подводные камни
Рост успешности с 22,5% до 57,5%, абсолютные доли успешных попыток в среднем по четырём задачам, и без числа испытаний и описания задач судить о надёжности оценки трудно. Улучшение метрики контакта с 0,134 до 0,383 дано относительно неназванных прежних тактильных данных, поэтому сила сравнения неясна. Релиз пока лишь обещан, так что проверить заявленное независимо нельзя. Тенденция к росту при увеличении объёма данных описана авторами как общая, не гарантирующая выигрыша на каждом шаге.
«Эти результаты позволяют предположить, что визуально-тактильные данные о человеке, собранные в большом масштабе с единообразным сенсорным оснащением, приносят пользу и восприятию, и роботизированной манипуляции.»
— авторы статьи о TouchScale, из аннотации