Представлена OpenFlyV2: бортовая нейросеть для дрона, 48% успеха в полётах
OpenFlyV2, это единая бортовая vision-language-action модель (модель «зрение + язык + действие») для летающих роботов. Авторы исходят из того, что человек опирается на общий перцептивный фундамент: понимает обстановку, выделяет упомянутые объекты, рассуждает о пространственных отношениях и действует. У воздушных роботов, по словам авторов, такой организации пока нет: существующие системы часто заточены под отдельные способности, зависят от вычислений вне аппарата или не могут поддерживать замкнутый контур управления на платформах с ограниченными ресурсами.
OpenFlyV2 устроена так, что одно общее визуально-языковое представление обслуживает сразу четыре задачи: семантическое понимание сцены, восприятие, привязанное к языку (то есть к тому, что названо в инструкции), пространственные рассуждения и непрерывное управление полётом, всё в рамках одной модели. Компактный «эксперт по действиям» превращает общий мультимодальный контекст в короткие по горизонту путевые точки полёта. Чтобы удешевить вычисления в замкнутом контуре, используются темпоральная память с учётом движения и априорные представления о действиях (action priors).
Для обучения авторы собрали датасет в симуляции: примерно 70 000 навигационных траекторий и 60 000 пар «инструкция, ответ» на визуально-языковых задачах. Название датасета в тексте источника не читается.
Модель генерирует порции действий (action chunks), каждая из которых состоит из 12 путевых точек, с частотой 10 Гц полностью на борту, на вычислителе NVIDIA Jetson Orin NX. Из симуляции она переносится на реальный квадрокоптер zero-shot, то есть без обучения на реальных аэроданных, и показывает 48% успешных навигаций в четырёх реальных средах.
Вывод авторов: широкая визуально-языковая компетентность и непрерывный замкнутый полёт могут сосуществовать в одной модели на ресурсно ограниченной воздушной платформе. Код авторы обещают опубликовать на GitHub (репозиторий AeroBrain); пока это обещание в будущем времени.
Ключевые факты
- OpenFlyV2, одна бортовая модель «зрение + язык + действие», объединяющая семантическое понимание, языковое восприятие, пространственные рассуждения и непрерывное управление полётом.
- Порции действий по 12 путевых точек генерируются с частотой 10 Гц целиком на борту, на NVIDIA Jetson Orin NX.
- Обучение в симуляции: около 70 000 навигационных траекторий и 60 000 пар «инструкция, ответ» на визуально-языковых задачах.
- Перенос из симуляции на реальный квадрокоптер без обучения на реальных аэроданных: 48% успешных навигаций в четырёх реальных средах.
- Код авторы обещают опубликовать (репозиторий AeroBrain на GitHub); срок не назван.
Почему это важно
Автономные дроны, которые понимают команды на естественном языке, обычно упираются в вычисления: тяжёлые модели приходится гонять вне аппарата. Здесь авторы заявляют, что общая визуально-языковая модель работает целиком на борту компактного вычислителя Jetson Orin NX и при этом непрерывно управляет полётом. Это шаг к дронам, не зависящим от внешнего сервера. Но 48% успеха, это скорее доказательство возможности, чем готовая технология.
Кому это важно
Исследователям воздушной робототехники и embodied AI (воплощённого ИИ), разработчикам бортовых систем для малых беспилотников, тем, кто следит за переносом моделей из симуляции в реальность. Практикам пока рано: это препринт, код ещё не опубликован.
Как это применить
Прямого применения пока нет: код обещан, но на момент публикации препринта не выпущен, срок не назван. Когда репозиторий AeroBrain появится, его можно будет изучить как образец архитектуры: общее визуально-языковое представление, компактный эксперт по действиям, темпоральная память с учётом движения. Сейчас пригодна главная идея, обучать в симуляции и переносить на реальный аппарат без реальных аэроданных.
Можно ли доверять
Все цифры, собственные заявления авторов препринта, независимой проверки нет. Авторы и их организации в тексте источника не названы. 48% приведены без сравнения с другими системами; не указаны число испытаний по средам и определение «успеха навигации». Размер модели, базовая модель, симулятор и тип квадрокоптера тоже не названы. Формулировка «обширные результаты показывают», оценка самих авторов.
Риски и подводные камни
Менее половины успешных навигаций, слишком мало для реальной эксплуатации, а без данных по отдельным средам и числу попыток трудно судить, насколько результат устойчив. Частота 10 Гц указана для генерации порций из 12 путевых точек, но сколько времени полёта покрывает одна порция, неизвестно. Сведений о задержке, энергопотреблении и памяти нет. Обещанный код может выйти позже или в урезанном виде.