ForceHarness добавил GPT-6 Astra чувство силы: успех на роботе вырос с 3,3% до 90%

Современные мультимодальные модели уже умеют управлять роботами «с нуля» (zero-shot) по изображениям, но многие манипуляции зависят от сил контакта, которых на картинке не видно. Подключить силу к замороженной модели, доступной только через API, мешают две проблемы. Во-первых, контакт меняется гораздо быстрее, чем API-модель успевает принимать решения, поэтому контур обратной связи по силе нужно замыкать под моделью. Во-вторых, замороженная модель не умеет интерпретировать сырые потоки данных о силе, поэтому их нужно вернуть в виде, пригодном для рассуждения.
Как отвечает на это ForceHarness. Авторы называют его надстройкой (harness), которая даёт замороженным моделям использовать силу без демонстраций и дообучения. Сначала калибруется сила на кисти робота, по датчику на запястье или только по моментам в суставах. Первую проблему решают самозавершающиеся силовые примитивы: они сами регулируют силу и возвращают управление модели при событии контакта. Вторую решает слой физической трансляции: каждую силовую трассу он превращает в физические величины с оценкой неопределённости и отдаёт модели как результат вызова инструмента.
Для честного сравнения с экспертными силовыми контроллерами и обученными политиками в одинаковых условиях авторы также создали HiddenPhys, бенчмарк из семи задач в симуляторе MuJoCo со скрытыми физическими переменными.
Результаты. На реальной руке без датчика силы на запястье ForceHarness поднимает долю успешных zero-shot-попыток GPT-6 Astra с 3,3% до 90,0%. В симуляции он добавляет 17,5 процентного пункта на публичном наборе ForceBench и 34,3 процентного пункта на HiddenPhys. По заявлению авторов, это превосходит силочувствительные политики, обученные на демонстрациях, на обоих бенчмарках, а на HiddenPhys, на уровне написанных вручную экспертных контроллеров. Абляции показывают, что более маленькие модели принимают заметно лучшие решения, когда получают физические величины, а не сырые значения силы.
Ключевые факты
- ForceHarness, надстройка для замороженных API-моделей: использует силу контакта без демонстраций и дообучения.
- Два механизма: самозавершающиеся силовые примитивы (замыкают контур по силе под моделью) и слой физической трансляции (превращает силовую трассу в физические величины с неопределённостью).
- На реальной руке без датчика силы на запястье успех GPT-6 Astra в zero-shot вырос с 3,3% до 90,0%.
- В симуляции прирост составил 17,5 п.п. на ForceBench и 34,3 п.п. на HiddenPhys, новом бенчмарке авторов из семи задач в MuJoCo.
- Абляции: меньшие модели решают лучше, если получают физические величины, а не сырые значения силы.
Почему это важно
Управление роботами через мультимодальные модели упирается в то, что зрение не показывает силу контакта, а от неё зависят многие манипуляции. Авторы предлагают способ добавить силу, не трогая веса модели: контур по силе замыкается ниже уровня модели, а ей возвращаются понятные физические величины. Заявленный скачок на реальной руке, с 3,3% до 90,0%, показывает, насколько сильно такая надстройка может влиять на результат.
Кому это важно
Исследователям робототехники и разработчикам, которые управляют манипуляторами через закрытые API-модели без возможности дообучения. Также тем, кто строит бенчмарки для физического взаимодействия: HiddenPhys со скрытыми физическими переменными задуман как сравнение с экспертными контроллерами и обученными политиками в равных условиях.
Как это применить
Идея, которую можно взять в работу: не отдавать модели сырые силовые данные, а возвращать физические величины с оценкой неопределённости как результат инструмента, а быстрое регулирование силы держать в локальных примитивах, которые сами завершаются при контакте. Калибровка силы кисти возможна по датчику на запястье или только по моментам в суставах. О доступности кода, данных или релиза в аннотации ничего не сказано.
Можно ли доверять
Это препринт на странице Hugging Face Papers, представленный по аннотации; все утверждения, слова самих авторов, независимой проверки нет. В аннотации не названы авторы и организации, не указано, какая именно рука и какой датчик использованы, и не сообщено число попыток в эксперименте на реальной руке, так что размер выборки за 3,3% и 90,0% неизвестен. Прирост в 17,5 и 34,3 п.п. не привязан к названной базовой модели или исходной доле успеха. Бенчмарк HiddenPhys создан самими авторами.
Риски и подводные камни
Главные оговорки, неизвестный размер выборки на реальном роботе и отсутствие деталей об оборудовании, из-за чего результат трудно оценить и воспроизвести. Утверждение о паритете с экспертными контроллерами относится только к HiddenPhys, то есть к бенчмарку авторов. Кроме того, система опирается на замкнутую API-модель GPT-6 Astra, а выводы про меньшие модели в абляциях даны без указания, какие именно модели использовались.