Mistral AI выпустила Robostral Navigate, модель для автономной навигации роботов

Mistral AI выпустила Robostral Navigate, свою первую модель для физической навигации роботов (embodied navigation). Это модель на 8 миллиардов параметров, которая получает на вход изображение с камеры и инструкцию на обычном языке и самостоятельно ведёт робота по маршруту. Пример инструкции из поста компании: «Выйди из вестибюля, пройди по коридору, зайди в кладовую и остановись лицом ко второй полке». В отличие от других навигационных моделей, которые опираются на датчики глубины, лидар или сразу несколько камер, Robostral Navigate обходится одной обычной RGB-камерой и вообще не использует датчики глубины.

Модель тестировали на R2R-CE (Room-to-Room in Continuous Environments), стандартном бенчмарке для проверки того, как хорошо система выполняет пошаговые инструкции в помещениях, которые не встречались при обучении. Результат: 79,4% успешных прохождений на знакомых сценах валидационной выборки и 76,6%, на новых, ранее не виденных сценах. По утверждению Mistral AI, это на 9,7 процентного пункта выше лучшего конкурирующего решения с одной камерой и на 4,5 п.п. выше лучшей системы, использующей глубинные датчики или несколько камер сразу, притом что Robostral Navigate не использует ни то, ни другое.

Модель предназначена для навигации в офисах, жилых и коммерческих зданиях и на улице; она работает на колёсных, шагающих и летающих роботах и, по словам компании, одинаково хорошо переносится на роботов разного размера. Mistral AI называет производство, доставку, логистику и гостиничный бизнес сферами, где такая автономная навигация уже особенно востребована клиентами компании.

Технически модель ведёт робота методом «указания» (pointing): опираясь на историю кадров с камеры, она определяет пиксельные координаты точки, куда роботу нужно двигаться дальше в текущем кадре, и желаемую ориентацию по прибытии. Такой подход, в отличие от команд с метрическими расстояниями, устойчив к разным настройкам камеры и масштабу сцены. Если целевая точка выходит за пределы текущего поля зрения камеры, модель переключается на команды смещения в локальных координатах робота, например: «Продвинься на 2 метра вперёд, на 1,5 метра влево и поверни на 25 градусов влево».

Robostral Navigate создана полностью внутри компании и не опирается на существующие открытые vision-language модели. За основу взята собственная vision-language модель Mistral AI, специализированная на задачах сопоставления текста и изображения, указании, подсчёте и локализации объектов; способность к навигации, по словам компании, выросла из этих базовых навыков как естественное продолжение.

Все обучающие данные сгенерированы в симуляции: собственный пайплайн Mistral AI создал около 400 000 траекторий движения на 6000 симулированных сцен. Для обучения компания применила метод на основе кэширования префиксов (prefix-caching) с древовидной схемой маскирования внимания: весь эпизод сжимается в одну последовательность и прогоняется через модель за один проход, без утечки информации между шагами по времени. По данным Mistral AI, это сократило число обучающих токенов в 22 раза по сравнению с обучением на отдельном примере для каждого шага, и превратило обучающие прогоны, которые заняли бы месяцы, в прогоны длительностью в дни.

После этапа обучения с учителем Mistral AI дополнительно улучшила модель с помощью онлайн-обучения с подкреплением, алгоритма CISPO. Это позволяет модели учиться на собственных ошибках, восстанавливаться после неудач и осваивать исследовательское поведение, смягчая проблему смещения распределения (distribution shift), характерную для чистого клонирования поведения (behavior cloning). Только этот этап, по данным компании, поднял долю успешных прохождений на 3,2 процентных пункта, и, как утверждает Mistral AI, рост результата пока не выходит на плато, значит, дальнейшее обучение должно поднимать показатель ещё выше.

Компания называет Robostral Navigate лишь первым шагом к единому воплощённому ИИ-агенту и заявляет, что навигация, базовая способность для робототехники общего назначения. Материал на блоге компании подписан командой AI Science Robotics и сопровождается объявлением о найме, Mistral AI расширяет команду робототехники и ищет исследователей и инженеров.

Ключевые факты

Mistral AI выпустила Robostral Navigate, модель на 8 млрд параметров для автономной навигации роботов по текстовым инструкциям и видео с одной камеры.
Модель обходится единственной обычной RGB-камерой без лидара и датчиков глубины, но по бенчмарку R2R-CE обгоняет и однокамерные, и многосенсорные системы конкурентов (79,4% успеха на знакомых сценах, 76,6%, на новых).
Обучена целиком на синтетических данных: около 400 000 траекторий на 6000 симулированных сцен, а метод кэширования префиксов сократил объём обучающих токенов в 22 раза.
Отдельный этап онлайн-обучения с подкреплением (алгоритм CISPO) добавил ещё 3,2 п.п. к доле успешных прохождений, и, по словам компании, рост пока не остановился.
Работает на колёсных, шагающих и летающих роботах; целевые сферы применения, по данным Mistral AI, производство, доставка, логистика и гостиничный бизнес.

Почему это важно

Это первая модель Mistral AI для физической навигации роботов, и сразу с заявкой на лидерство: по данным компании, Robostral Navigate обходит и специализированные однокамерные, и куда более сложные многосенсорные системы конкурентов на бенчмарке R2R-CE, при этом используя только одну обычную камеру без лидара и датчиков глубины. Меньше сенсоров, потенциально дешевле и проще в производстве роботы. Показательно и то, что модель построена полностью in-house, а не поверх открытых vision-language моделей: Mistral AI, известная прежде всего языковыми моделями, демонстрирует полный собственный стек для воплощённого ИИ, от вижн-модели до навигационной политики и RL-дообучения.

Кому это важно

В первую очередь, производителям и интеграторам роботов для офисов, жилых и коммерческих зданий: Mistral AI прямо называет производство, доставку, логистику и гостиничный бизнес сферами, где такая навигация уже востребована клиентами компании. Модель заявлена как переносимая на колёсные, шагающие и летающие платформы разного размера, то есть интересна широкому кругу производителей робототехники, а не только одному типу устройств. Отдельно, исследователям и инженерам в области embodied AI: Mistral AI прямо в этом же материале объявляет о расширении команды робототехники и найме research scientists и инженеров.

Как это применить

Пользователь задаёт роботу инструкцию на естественном языке (например, дойти из вестибюля через коридор в кладовую и остановиться у нужной полки), а модель на каждом шаге смотрит на текущий кадр с камеры и «указывает» пиксельную точку и ориентацию, куда двигаться дальше. Если нужная точка не попадает в кадр, модель переключается на команды относительного смещения в координатах робота (метры вперёд/в сторону, градусы поворота). В самом материале нет данных о цене, лицензии или публичном API, Mistral AI ограничивается предложением связаться с командой компании напрямую.

Можно ли доверять

Все цифры, 79,4% и 76,6% успеха на R2R-CE, превышение конкурентов на 9,7 и 4,5 процентного пункта, ускорение обучения в 22 раза, прирост от RL на 3,2 п.п., взяты из собственного поста Mistral AI, независимой проверкой в источнике не подтверждены. Материал подписан именной командой (AI Science Robotics) и опубликован на официальном блоге компании, что снижает вероятность фейка, но не заменяет независимый бенчмарк. Публикация уже собрала заметный отклик на Hacker News (445 баллов, 96 комментариев на момент сбора), однако содержание самого обсуждения в исходном тексте не зафиксировано.

Риски и подводные камни

Модель обучена полностью в симуляции (400 000 траекторий на 6000 сцен), компания заявляет, что она справляется и с препятствиями, не встречавшимися при обучении, но данных о работе вне контролируемых демонстраций в тексте нет, а перенос из симуляции в реальность, известный источник просадки качества у подобных систем. Единственная RGB-камера без датчиков глубины, это и преимущество по стоимости, и потенциальное ограничение: в тексте не описано, как модель ведёт себя при сложном освещении, на прозрачных или зеркальных поверхностях. Наконец, все метрики, самоотчёт разработчика без ссылки на сторонний аудит.

«Выйди из вестибюля, пройди по коридору, зайди в кладовую и остановись лицом ко второй полке.»

— Пример команды роботу из блога Mistral AI (Robostral Navigate)