ABot-N1: модель навигации роботов побила рекорды точности
Команда исследователей во главе с Ruiyan Gong представила ABot-N1, шаг к созданию универсальной базовой модели для визуально-языковой навигации (Visual Language Navigation, VLN): системы, которая ведёт робота или агента к цели, опираясь одновременно на изображение с камеры и текстовую инструкцию.
Проблема, которую решают авторы: большинство существующих подходов используют «монолитную» политику, единую нейросеть, которая напрямую превращает картинку с камеры в команды движения. У такой схемы два системных недостатка: она накапливает ошибку координат («дрейф») и плохо справляется с редкими, нетипичными случаями. Кроме того, решения такой модели необъяснимы, непонятно, почему робот выбрал именно такой путь, а это мешает одновременно добиться универсальности, устойчивости и прозрачности.
ABot-N1 решает эту проблему через архитектуру «медленно-быстро», которая разделяет мышление и управление на два отдельных модуля. «Медленный» модуль рассуждения выполняет явную пошаговую цепочку рассуждений (Chain-of-Thought) и на выходе выдаёт «пиксельную цель»: компактный набор опорных точек прямо на изображении. Этот набор точек служит универсальным интерфейсом сразу для нескольких типов задач: движение к заданной точке (point-goal), к объекту (object-goal), к точке интереса (POI-goal), следование текстовой инструкции и следование за человеком. «Быстрый» модуль, экспертная модель действий, использует и текстовые подсказки, и эти пиксельные ориентиры, чтобы на собственной высокой частоте контура управления генерировать непрерывную траекторию движения.
Результаты, которые заявляют авторы: ABot-N1 установил новые рекорды точности. Доля успешных прибытий к точке интереса (POI arrival) выросла на 35 процентных пунктов, до 77,3%. В сложных сценах внутри помещений и на улице доля успешного выполнения задачи (success rate) составила 95,4% и 92,9% соответственно. Модель также сохраняет устойчивость в задачах приближения к объекту, следования за человеком и выполнения инструкций. Вместе с моделью авторы выложили в открытый доступ новые тестовые наборы (бенчмарки) Point-Goal и POI-Goal, специально для развития направления навигации в масштабе города.
Ключевые факты
- ABot-N1, базовая модель для визуально-языковой навигации (VLN), которая разделяет «мышление» (рассуждение о цели) и «управление» (генерацию движения) на два отдельных модуля
- Архитектура «медленно-быстро»: медленный модуль рассуждает и выдаёт «пиксельную цель», набор опорных точек на изображении, быстрый модуль превращает её в траекторию движения
- Единый интерфейс из пиксельных точек покрывает пять типов задач: движение к точке, к объекту, к точке интереса, следование инструкции и следование за человеком
- Доля успешных прибытий к точке интереса выросла на 35 процентных пунктов, до 77,3%; успешность в сложных сценах внутри помещений и на улице, 95,4% и 92,9% соответственно
- Авторы выложили в открытый доступ новые тестовые наборы Point-Goal и POI-Goal для навигации в масштабе города
Почему это важно
Навигационные модели роботов обычно устроены как «чёрный ящик»: одна нейросеть напрямую превращает картинку в команды руля и скорости. Такая схема накапливает ошибку координат и плохо справляется с редкими, нетипичными ситуациями, а её решения невозможно объяснить. ABot-N1 разводит «зачем» и «как» по разным модулям: один явно рассуждает и указывает цель на картинке, второй превращает эту цель в движение. Это одновременно повышает точность, устойчивость к нетипичным случаям и прозрачность решений, три свойства, которые раньше были трудно достижимы вместе.
Кому это важно
Разработчикам сервисных и доставочных роботов, компаниям, строящим автономных агентов для навигации в помещениях и на городских улицах, а также исследователям в области визуально-языковой навигации, которым нужны новые открытые тестовые наборы и планка сравнения (SOTA-результаты).
Как это применить
Ключевая практическая идея, «пиксельная цель» как универсальный интерфейс: один и тот же формат опорных точек на изображении подходит для движения к точке, к объекту, к точке интереса, следования инструкции и следования за человеком, что упрощает встраивание модели в разные сценарии без переобучения архитектуры под каждую задачу. Авторы также открыли тестовые наборы Point-Goal и POI-Goal, их можно использовать для проверки собственных навигационных моделей.
Можно ли доверять
Цифры (77,3% для точки интереса, 95,4%/92,9% success rate) заявлены самими авторами по итогам тестов на собственных и открытых бенчмарках; независимой проверки результатов на момент публикации нет. Материал, научная публикация (страница на HuggingFace Papers), а не готовый коммерческий продукт.
Риски и подводные камни
Заявленные рекорды получены на конкретных бенчмарках, как модель поведёт себя в реальных условиях за их пределами (другая местность, другое освещение, непредвиденные препятствия), из текста не следует. Подробностей о размере модели, требованиях к вычислениям и задержке в реальном времени в тексте нет, что затрудняет оценку применимости на реальных роботах.