Mistral выходит в робототехнику с Robostral Navigate, моделью на 8 млрд параметров, которая ведёт робота по одной камере
Mistral представила Robostral Navigate, первую модель компании для навигации роботов. Модель на 8 млрд параметров ведёт роботов через сложные незнакомые пространства и, по словам Mistral, для этого достаточно всего одной обычной RGB-камеры, без датчиков глубины и без нескольких камер.
На бенчмарке R2R-CE (стандартном тесте на навигацию в незнакомой среде) модель показывает успех до 79,4%. Mistral утверждает, что это превосходит как лучший метод с одной камерой, так и системы с датчиками глубины или несколькими камерами.
Модель разработана полностью внутри компании и обучена целиком в симулированных средах, использовано около 400 000 записанных маршрутов в 6000 разных виртуальных пространствах. Robostral Navigate работает с колёсными, шагающими и летающими роботами. Подробностей о доступности модели (лицензия, релиз весов или API) Mistral пока не раскрыла.
Mistral считает навигацию основой для «универсальной робототехники» и планирует и дальше развивать модель. Эксперименты с обучением с подкреплением уже подняли успешность ещё на 3,2 процентных пункта, и, по словам компании, признаков выхода на плато пока нет.
Ключевые факты
- Mistral представила Robostral Navigate, первую модель компании для навигации роботов: 8 млрд параметров, работает по картинке с одной RGB-камеры, без датчиков глубины.
- На бенчмарке R2R-CE точность достигает 79,4%, по заявлению Mistral, выше лучшего одно-камерного метода и систем с датчиками глубины или несколькими камерами.
- Модель обучена полностью в симуляции: около 400 000 маршрутов в 6000 виртуальных пространствах; работает на колёсных, шагающих и летающих роботах.
- Подробности о доступности модели (лицензия, релиз весов или API) Mistral пока не раскрыла.
- Эксперименты с обучением с подкреплением подняли успешность ещё на 3,2 процентных пункта; Mistral заявляет об отсутствии признаков плато и видит в навигации основу «универсальной робототехники».
Почему это важно
Заголовок статьи прямо называет это выходом Mistral в новую для компании область, робототехнику, причём сразу с заявкой на рекордный результат (79,4% на R2R-CE) при минимальном оснащении: одна обычная камера вместо лидаров, датчиков глубины или нескольких камер. Если цифры подтвердятся на практике, это может означать удешевление навигационных систем для роботов, сама Mistral говорит о навигации как об основе для «универсальной робототехники» и планирует развивать направление дальше.
Кому это важно
Разработчикам робототехнических платформ, которые ищут более дешёвую альтернативу дорогим сенсорным решениям (лидары, датчики глубины, несколько камер); исследователям в области навигации роботов, которые могут сверить результат с бенчмарком R2R-CE; производителям колёсных, шагающих и летающих роботов, по словам Mistral, модель работает со всеми тремя типами платформ.
Как это применить
Напрямую применить пока нельзя, Mistral не раскрыла ни лицензию, ни условия доступа, ни сроки выпуска весов или API. Единственный ориентир на сегодня, результат на бенчмарке R2R-CE, по которому можно будет сверять модель, когда (и если) компания откроет к ней доступ.
Можно ли доверять
Все цифры, 79,4% на R2R-CE, прирост на 3,2 процентных пункта от обучения с подкреплением, 400 000 маршрутов, 6000 пространств, это заявления самой Mistral; в тексте нет упоминания независимой проверки или стороннего тестирования. Модель обучена только в симуляции, а не на реальных роботах, поэтому перенос результата в физический мир пока не подтверждён.
Риски и подводные камни
Обучение исключительно в симуляции не гарантирует такое же качество в реальных условиях, шум камеры, освещение и непредвиденные препятствия могут снизить показатели при переносе на настоящих роботов. Mistral не раскрыла ни архитектуру, ни методику измерений во всех деталях и не назвала сроки доступности, что не позволяет независимо проверить заявленное превосходство над системами с датчиками глубины и несколькими камерами.
«Мы уверены, что дальнейшее обучение и новые эксперименты продолжат поднимать этот показатель»
— Mistral