Depth Pro 2: нейросеть строит резкую карту глубины для фото и видео

Авторы статьи представили Depth Pro 2, подход к оценке плотной метрической глубины для изображений и видео в полном разрешении. Задача называется монокулярной оценкой глубины: карта глубины строится по обычному одиночному изображению или видеоряду.
Отправная точка работы, анализ прежних методов. Авторы пишут, что те, как правило, жертвуют одним качеством ради другого: методы, работающие с несколькими кадрами, дают лучшую временную согласованность, а методы по одному кадру, более резкие границы объектов.
Чтобы снять этот компромисс, авторы обучают единую масштабируемую сеть. Она обрабатывает и изображения, и видео и предсказывает карты глубины в исходном (нативном) разрешении.
Главное заявление: Depth Pro 2 выдаёт карты глубины, которые одновременно метрически точны, резки и согласованы во времени, причём, по утверждению авторов, превосходят предыдущие работы по всем этим измерениям. Кроме того, авторы выпускают семейство моделей, которое, по их словам, задаёт новую границу Парето по метрической точности, резкости, временной согласованности и скорости работы.
Код и веса опубликованы на странице проекта: https://apple-aiml-research.github.io/ml-depth-pro-2/.
Ключевые факты
- Depth Pro 2 оценивает плотную метрическую глубину для изображений и видео в полном разрешении.
- Авторы выявили у прежних методов компромисс: многокадровые лучше по временной согласованности, однокадровые, по резкости границ.
- Вместо компромисса обучена единая масштабируемая сеть, которая работает и с изображениями, и с видео и выдаёт карты в нативном разрешении.
- Авторы заявляют, что результат одновременно метрически точен, резок и согласован во времени и превосходит прежние работы по всем этим измерениям.
- Выпущено семейство моделей, которое, по словам авторов, задаёт новую границу Парето по точности, резкости, согласованности и скорости; код и веса опубликованы.
Почему это важно
Оценка глубины по одной камере упирается в выбор: либо стабильная картинка во времени, либо чёткие границы объектов. Авторы утверждают, что нашли способ получить и то и другое в одной модели, не разделяя случаи фото и видео. Если заявление подтвердится независимыми проверками, это упростит конвейеры, где сегодня приходится держать разные методы для кадров и роликов.
Кому это важно
Исследователям компьютерного зрения, занимающимся оценкой глубины, и разработчикам, которым нужны карты глубины для фото и видео. Для них важно, что опубликованы и код, и веса, то есть результат можно проверить и попробовать самим.
Как это применить
Код и веса доступны на странице проекта: https://apple-aiml-research.github.io/ml-depth-pro-2/. Авторы выпускают семейство моделей, различающихся по соотношению точности, резкости, согласованности и скорости, так что под задачу можно выбирать подходящий вариант. Условия лицензии в тексте не названы, перед использованием их стоит посмотреть на странице проекта.
Можно ли доверять
Все утверждения о превосходстве над прежними работами принадлежат самим авторам статьи. В тексте нет численных результатов, названий тестовых наборов и методов сравнения, поэтому оценить масштаб улучшения по нему нельзя. Плюс: код и веса опубликованы, а значит заявления можно перепроверить.
Риски и подводные камни
Формулировка «по всем измерениям», сильное заявление, и без таблиц и сравнений его нужно проверять на собственных данных. Из текста не видно размеров моделей, времени работы и требований к железу, так что применимость в реальном времени или на слабых устройствах остаётся неясной. Лицензия на код и веса также в тексте не указана.
«Depth Pro 2 выдаёт карты глубины, которые одновременно метрически точны, резки и согласованы во времени, превосходя предыдущие работы по всем этим измерениям.»
— авторы статьи