ReLift: нейросеть исправляет 3D-траектории точек в видео и обходит аналоги на WorldTrack
Плотное 3D-отслеживание по обычному (монокулярному) видео требует сразу трёх вещей: сопоставлять точки между кадрами, оценивать их глубину и достраивать траектории там, где точка закрыта другим объектом. Существующие методы обычно учат всё это совместно, а это трудная задача, потому что данных с 4D-разметкой (3D плюс время) мало.
Авторы предлагают другой путь. Они показывают, что сильные предобученные 2D-трекеры и модели 3D-геометрии уже дают хорошую основу: траектории, «поднятые» в 3D (lifted trajectories) с помощью геометрии, причём закрытые участки просто интерполируются, уже сопоставимы со специализированными 3D-трекерами, использующими ту же геометрию. Но такие траектории наследуют ошибки сопоставления точек и глубины, а при перекрытии глубина берётся у закрывающего объекта, а не у самой отслеживаемой точки.
Для этого предложен ReLift, эффективная прямая (feed-forward) схема, которая переформулирует плотное 3D-отслеживание как геометрическое исправление и достраивание траекторий. В основе лежит корректор траекторий: он чередует внимание вдоль траекторий и между ними, чтобы сохранять надёжные наблюдения, исправлять испорченные позиции и достраивать недостающее движение.
Поскольку на вход идёт только геометрия, модель можно обучать прямо на 3D-траекториях с симулированными ошибками «поднятия». Обучение таким образом не зависит от изображений и от конкретного трекера или модели геометрии. Вся 4D-разметка концентрируется на уточнении траекторий, и получается переиспользуемая модель, которая стабильно улучшает «поднятые» траектории для разных трекеров и поставщиков геометрии без переобучения. По словам авторов, она напрямую выигрывает от будущих улучшений любого из этих компонентов.
На бенчмарке WorldTrack ReLift показывает лучшую среднюю точность из заявленных: сильнейшие базовые методы опережает на 2,1 APD по всем точкам и на 3,0 по динамическим точкам (это разница в пунктах метрики, а не относительный прирост). Более быстрые конфигурации остаются конкурентоспособными с ведущими 3D-трекерами и при этом работают быстрее 4RC. Примеры и код авторы обещают на дополнительной странице проекта.
Ключевые факты
- ReLift превращает плотное 3D-отслеживание в задачу исправления и достраивания траекторий, «поднятых» из предобученных 2D-трекеров и моделей 3D-геометрии.
- Ядро, корректор траекторий, чередующий внимание вдоль траекторий и между ними: он сохраняет надёжные наблюдения, чинит ошибочные позиции и достраивает движение при перекрытии.
- Обучение идёт только на геометрии (3D-траектории с симулированными ошибками), без изображений и без привязки к конкретному трекеру или модели геометрии; переобучение для новых трекеров не нужно.
- На WorldTrack ReLift заявляет лучшую среднюю точность: +2,1 APD по всем точкам и +3,0 по динамическим относительно сильнейших базовых методов.
- Более быстрые конфигурации конкурентоспособны с ведущими 3D-трекерами и работают быстрее 4RC.
Почему это важно
Для 3D-отслеживания по обычному видео не хватает данных с 4D-разметкой, и совместное обучение сопоставления, глубины и поведения при перекрытии даётся тяжело. ReLift предлагает опереться на уже сильные 2D-трекеры и модели геометрии, а дефицитную 4D-разметку тратить только на исправление траекторий. Это решает типичную проблему: при перекрытии глубина берётся у закрывающего объекта, а не у нужной точки.
Кому это важно
Исследователям компьютерного зрения, работающим с 3D- и 4D-реконструкцией, отслеживанием точек и динамическими сценами, а также командам, которые уже используют готовые 2D-трекеры и модели геометрии и хотят улучшить их результат без переобучения.
Как это применить
По описанию авторов, ReLift работает как отдельный модуль поверх «поднятых» траекторий и подходит к разным трекерам и поставщикам геометрии без переобучения. Примеры и код, по словам авторов, доступны на дополнительной странице проекта. Какие именно трекеры и модели геометрии использовались, из описания не видно.
Можно ли доверять
Это препринт: результаты заявлены самими авторами и описаны только в аннотации. Приведены лишь разницы с сильнейшими базовыми методами (2,1 APD и 3,0), абсолютные значения метрик и названия этих методов не указаны, поэтому масштаб улучшения оценить трудно. Авторов и организации в аннотации нет. Независимой проверки в тексте не упомянуто.
Риски и подводные камни
ReLift исправляет уже «поднятые» траектории, поэтому качество зависит от входных 2D-трекеров и геометрии: корректор рассчитан на симулированные ошибки поднятия, и насколько они совпадают с реальными, из аннотации не ясно. Скоростные характеристики (кадры в секунду, задержка, размер модели) не приведены; известно лишь, что быстрые конфигурации работают быстрее 4RC.