RoboValue: новый бенчмарк проверяет, насколько надёжны оценки роботов-«критиков»
Робототехнические модели ценности (value models) оценивают, как идёт выполнение задачи, по визуальным наблюдениям и инструкции. Их оценки служат обратной связью для обучения политик и для контроля исполнения. По мнению авторов, существующие проверки охватывают лишь отдельные стороны понимания хода выполнения, поэтому надёжность такой обратной связи остаётся недостаточно проверенной.
Чтобы закрыть этот пробел, авторы представили RoboValue, детальный бенчмарк (набор тестов) в симуляции и реальном мире для единой оценки моделей ценности. Его рамки через общие интерфейсы проверяют четыре взаимодополняющих способности: понимание состояния задачи, отслеживание прогресса во времени, рассуждения о сбоях и восстановлении после них и согласованность оценок. Диагностические траектории и вариации инструкций проверяют, отражают ли оценки модели требования задачи и изменения по ходу выполнения.
Вместе с бенчмарком выпущен набор данных RoboValue-Dataset: 15 задач манипуляции в симуляции и 20 в реальном мире. В нём есть экспертные демонстрации для обучения и размеченные траектории для детальной оценки.
Авторы проверили репрезентативные модели ценности в режимах zero-shot (без примеров) и one-shot (с одним примером). Тесты шли в стандартных условиях и при отдельных сдвигах, смене воплощения робота и смене окружения. Результаты показали ошибки в тонком понимании инструкций, в отслеживании прогресса, зависящем от истории, и в оценке восстановления. Они встречаются даже у моделей с высокими показателями по итогу выполнения и по движению вперёд. Кроме того, одна и та же смысловая подзадача может получать существенно разные приросты ценности при разных допустимых порядках выполнения.
По выводу авторов, это задаёт конкретные цели для обучения ценностной обратной связи, а набор данных и публичная таблица лидеров позволяют и дальше оценивать надёжность такой обратной связи. Сайт проекта: robovalue-benchmark.github.io.
Ключевые факты
- RoboValue, бенчмарк в симуляции и реальном мире для единой оценки робототехнических моделей ценности.
- Проверяются четыре способности: понимание состояния задачи, отслеживание прогресса во времени, рассуждения о сбоях и восстановлении, согласованность оценок.
- RoboValue-Dataset охватывает 15 задач манипуляции в симуляции и 20 в реальном мире; есть экспертные демонстрации и размеченные траектории.
- Модели проверяли в режимах zero-shot и one-shot, в стандартных условиях и при сдвигах воплощения робота и окружения.
- Найдены ошибки в понимании инструкций, отслеживании прогресса и оценке восстановления, даже у моделей с высокими итоговыми показателями.
Почему это важно
Модели ценности дают обратную связь для обучения политик и контроля исполнения роботов. Если эта оценка ненадёжна, ошибки передаются дальше. По словам авторов, прежние проверки охватывали лишь отдельные аспекты, а RoboValue пытается проверить способности системно и в единых рамках.
Кому это важно
Исследователям в робототехнике и обучении с подкреплением, которые используют модели ценности как сигнал вознаграждения или монитор исполнения. Также тем, кто сравнивает такие модели между собой: для этого есть публичная таблица лидеров.
Как это применить
Набор данных с экспертными демонстрациями и размеченными траекториями можно использовать для обучения и детальной оценки моделей ценности. Результаты, по словам авторов, указывают конкретные цели для улучшения ценностной обратной связи. Подробности и материалы, на сайте проекта robovalue-benchmark.github.io.
Можно ли доверять
Это препринт с описанием бенчмарка, выводы принадлежат самим авторам. В аннотации нет числовых результатов, поэтому масштаб найденных ошибок по ней оценить нельзя. Для проверки стоит обратиться к полному тексту работы и публичной таблице лидеров.
Риски и подводные камни
Бенчмарк охватывает 15 задач в симуляции и 20 в реальном мире, поэтому выводы относятся к манипуляции и не обязательно переносятся на другие задачи робототехники. Результаты получены на выбранных авторами моделях и сдвигах, а не на всех существующих подходах. Высокий итоговый балл, как показывает работа, не гарантирует надёжной оценки хода выполнения.