Представлена BirdDreams: модель вождения строит видео и вид сверху

Представлена BirdDreams: модель вождения строит видео и вид сверху

Мировые модели для вождения должны имитировать, как сцена развивается при разных действиях собственного автомобиля. Для этого нужны и правдоподобное движение окружающих машин, и точное управление траекторией своей машины. По словам авторов статьи, научиться движению машин только по видео с камеры трудно: движение смешано с внешним видом, а машины могут заслонять друг друга. Прежние работы решали это через условие на раскладку, задающую движение машин: так можно управлять окружающими автомобилями, но их будущие траектории приходится подавать на вход.

BirdDreams, авторегрессионная мировая модель вождения, которая совместно генерирует два видео: обычное (с камеры, перспективное) и схематичный вид сверху (BEV, bird's-eye-view). Расположение сцены тем самым становится частью предсказываемого будущего. Для обучения BEV строится по разметке сцены: дороги и машины показаны простыми фигурами в фиксированном метрическом масштабе. Такой вид сверху даёт положения и движение машин с меньшей взаимной заслонённостью. Видео с камеры, напротив, хранит детали, которых в BEV нет, например, сигналы светофоров и внешний вид объектов.

Два потока обрабатывают два видео-диффузионных трансформера, по одному на поток; совместное внимание (joint attention) между ними позволяет каждому потоку подсказывать другому во время генерации.

Предсказанный BEV служит и геометрическим интерфейсом для управления собственной машиной: его последний кадр сдвигают и поворачивают вдоль заданной траектории своего автомобиля, а получившиеся кадры используют как мягкое условие. Они показывают, как сцена выглядела бы в движении, если бы двигалась только своя машина. При выводе BirdDreams создаёт оба видео по одному изображению с камеры, без HD-карты и данных о состоянии автомобиля.

На наборах PhysicalAI-AV и nuScenes, как утверждают авторы, BirdDreams точнее следует заданным траекториям своей машины, чем прежние мировые модели вождения, и порождает более правдоподобное движение без условия на действия своей машины. По результатам оценки людьми модель превосходит базовую модель, работающую только с видео с камеры, в реалистичности поведения окружающих машин.

Ключевые факты

  • BirdDreams, авторегрессионная мировая модель вождения, совместно генерирующая видео с камеры и схематичный вид сверху (BEV), так что раскладка сцены входит в предсказанное будущее.
  • BEV для обучения строится по разметке сцены: дороги и машины, простые фигуры в фиксированном метрическом масштабе; видео с камеры сохраняет светофоры и внешний вид объектов.
  • Два видео-диффузионных трансформера (по одному на поток) связаны совместным вниманием; для управления своей машиной кадр BEV сдвигают и поворачивают вдоль заданной траектории и используют как мягкое условие.
  • При выводе достаточно одного изображения с камеры: HD-карта и данные о состоянии автомобиля не нужны.
  • На PhysicalAI-AV и nuScenes модель, по словам авторов, точнее следует траекториям, чем прежние мировые модели; по оценке людей она лучше базовой модели без BEV в поведении окружающих машин.

Почему это важно

Мировые модели вождения нужны, чтобы симулировать, как сцена изменится при разных действиях автомобиля. Слабое место подхода только по видео с камеры, движение смешано с внешним видом и страдает от заслонения машин. BirdDreams добавляет к видео вид сверху, где положения и движение машин видны с меньшей заслонённостью, и не требует будущих траекторий окружающих машин на входе, как прежние подходы с раскладкой.

Кому это важно

Исследователям мировых моделей и генеративной симуляции для автономного вождения, а также тем, кто работает с наборами PhysicalAI-AV и nuScenes и интересуется управлением траекторией своей машины в сгенерированных сценах.

Как это применить

Напрямую применять пока нечего: в аннотации не упомянуты код, веса или планы публикации. Практическая идея для разработчиков, использовать предсказанный вид сверху как геометрический интерфейс: сдвигать и поворачивать его кадр вдоль нужной траектории и подавать как мягкое условие. Для запуска модели достаточно одного изображения с камеры, без HD-карты и данных о состоянии автомобиля.

Можно ли доверять

Источник, аннотация препринта на Hugging Face Papers; все утверждения о преимуществе модели принадлежат самим авторам. Числовых метрик по следованию траекториям и оценке людьми в тексте нет, не названы размер оценки людьми и конкретные модели, с которыми сравнивали. Авторы и организации в аннотации не указаны. Результаты независимо не проверены.

Риски и подводные камни

Без цифр трудно судить о величине выигрыша: «точнее» и «правдоподобнее» в аннотации не подкреплены метриками. Сравнение людьми проведено с базовой моделью только на видео с камеры, а не с другими мировыми моделями. Для обучения BEV строится по разметке сцены, то есть метод зависит от наличия такой разметки. Размер модели, вычислительные затраты, длина и разрешение видео, скорость вывода не указаны.