ИИтог

Представлен RoboColosseum: проверка роботов на 124 площадках сравнила VLA-политики и ИИ-агентов

исследованияРедакция ИИтогHugging Face🔥56Рейтинг ИИтог56Влияние45Новизна60Релевантность90Неожиданность35Участники35Достоверность75
Представлен RoboColosseum: проверка роботов на 124 площадках сравнила VLA-политики и ИИ-агентов

В статье представлен RoboColosseum, распределённая система оценки универсальных роботизированных политик. Исходная проблема: такие политики должны работать на разных роботах, в разных задачах и средах, но именно разнообразие, которое делает физические испытания информативными, мешает их воспроизводить. RoboColosseum объединяет единый запуск политик (unified policy serving) и стандартизованные протоколы в сети локально управляемых роботов, стоящих в разных условиях.

В первом исследовании оценили пять VLA-политик (vision-language-action, «зрение-язык-действие») и три передовых ИИ-агента на четырёх типах роботов: SO-101, Franka, Bimanual-YAM и гуманоиде G1. Испытания разделены на два трека. «Открытый трек» (Open Track) сравнивает модели без донастройки под конкретную задачу: слепые парные испытания в совпадающих локальных условиях. «Трек дообучения» (Fine-tune Track) измеряет, насколько хорошо VLA-политики адаптируются к 20 задачам на всех четырёх роботах, если каждая получает одинаковые 100 демонстраций на задачу.

Результаты. По 5 699 парным сравнениям Открытого трека на 124 площадках передовые ИИ-агенты оказываются вровень со специализированными VLA-политиками, но все системы ненадёжно справляются с задачами в открытом мире. После дообучения GR00T N1.7 лидирует на SO-101, а pi0.5, на Franka и Bimanual-YAM. Согласованность рейтингов политик между наборами задач для разных роботов слабая (W Кендалла = 0,24). Рейтинги Открытого трека плохо предсказывают относительные результаты после дообучения: на всех трёх роботах, общих для двух треков, места существенно меняются.

Отдельный вывод, про частичный прогресс: его измерение выявляет различия, которые не видны по одному успеху в задаче. На гуманоиде G1 ни одна политика не выполнила ни одной из пяти задач, однако средний прогресс у разных политик составляет от 13,3% до 23,2%. Наконец, рейтинги Открытого трека стабилизируются по мере накопления испытаний, а активный подбор пар (active matchmaking) даёт сопоставимое согласие рейтингов при заметно меньшем числе физических испытаний, чем равномерная выборка. Авторы заключают, что распределённая физическая оценка показывает, где политики обобщаются, как хорошо адаптируются к новым задачам и как далеко продвигаются в задачах, которые не завершают.

Ключевые факты

  • RoboColosseum объединяет единый запуск политик и стандартизованные протоколы в сети локально управляемых роботов в разных средах.
  • Первое исследование: пять VLA-политик и три передовых ИИ-агента на четырёх роботах (SO-101, Franka, Bimanual-YAM, G1 Humanoid); Открытый трек, 5 699 парных сравнений на 124 площадках.
  • Передовые ИИ-агенты сравнимы со специализированными VLA-политиками, но все системы ненадёжны в задачах открытого мира.
  • После дообучения на 100 демонстрациях на задачу (20 задач) GR00T N1.7 лидирует на SO-101, pi0.5, на Franka и Bimanual-YAM; рейтинги Открытого трека плохо предсказывают итог дообучения.
  • На гуманоиде G1 ни одна политика не выполнила ни одной из пяти задач, но средний прогресс составил от 13,3% до 23,2%; активный подбор пар сокращает число физических испытаний.

Почему это важно

Оценка роботизированных политик в реальном мире трудно воспроизводима, и это тормозит честное сравнение моделей. Работа предлагает способ делать такие сравнения массово: слепые парные испытания на сети локальных роботов с едиными протоколами. Результаты показывают, что рейтинг «из коробки» плохо предсказывает рейтинг после дообучения (на всех трёх роботах, общих для двух треков, места существенно меняются), а ранжирование зависит от конкретного робота (W Кендалла = 0,24). То есть по одному бенчмарку на одном роботе судить о политике рискованно.

Кому это важно

Исследователям и командам, которые разрабатывают и сравнивают VLA-политики и универсальных роботов, а также тем, кто оценивает ИИ-агентов в физических задачах. Полезно и тем, кто выбирает политику под конкретного робота: лидеры после дообучения на разных платформах разные (GR00T N1.7 на SO-101, pi0.5 на Franka и Bimanual-YAM).

Как это применить

Из статьи можно взять несколько идей для собственной оценки: разделять сравнение «без донастройки» и сравнение после дообучения с одинаковым числом демонстраций; делать слепые парные испытания в совпадающих локальных условиях; измерять частичный прогресс, а не только успех или провал; использовать активный подбор пар, чтобы получать сопоставимое согласие рейтингов при меньшем числе физических испытаний. О конкретном доступе к системе, условиях участия или стоимости в аннотации ничего не сказано.

Можно ли доверять

Это препринт, и пересказ построен по его аннотации. Утверждения о результатах, выводы самих авторов работы. Аннотация не называет авторов и организации, не раскрывает три ИИ-агента и три из пяти VLA-политик (названы только GR00T N1.7 и pi0.5), не приводит абсолютных показателей успеха, кроме среднего прогресса на G1, и не оценивает числом выигрыш от активного подбора пар. Проверить детали можно только по полному тексту статьи.

Риски и подводные камни

Вывод о том, что передовые ИИ-агенты «вровень» с VLA-политиками, сформулирован в аннотации без абсолютных цифр, поэтому его масштаб оценить нельзя. Все системы ненадёжны в задачах открытого мира, а на гуманоиде G1 никто не выполнил ни одной задачи, так что лидерство в рейтингах не означает надёжной работы. Слабая согласованность рейтингов между роботами (W = 0,24) означает, что результаты нельзя механически переносить с одной платформы на другую. Для третьих лиц остаётся открытым вопрос, насколько легко воспроизвести такую сеть площадок.