DeOverlay убирает субтитры и логотипы с видео: метод и бенчмарк DVTE-Bench
В статье на Hugging Face описан метод DeOverlay для удаления наложений с видео: субтитров, заголовков и логотипов. Задача, восстановить сцену, закрытую такими элементами, сохранив окружающее содержимое. По словам авторов, существующие методы опираются на временное распространение информации между кадрами или на генерацию с условием по исходному видео, но могут оставлять остаточные следы наложений и искажать структуру сцены, когда полезная информация в исходнике закрыта.
DeOverlay, это «source-anchored flow model» (поток с привязкой к исходнику): модель восстанавливает чистое видео из латентного представления исходного видео с фиксированной подсказкой от источника. Общую сеть скоростей обучают на парных траекториях от исходного видео к чистому с помощью flow matching (согласования потоков) с весами по областям, что позволяет последовательно исправлять результат из промежуточных состояний. Локальные подсказки из исходника выбираются через нормированное на видимость временное усреднение: оно исключает закрытые маской позиции и усредняет остальные наблюдения. Глобальный контекст исходника и эмбеддинги области редактирования добавляются через аддитивное условие, поэтому сохраняется единая последовательность видеотокенов.
Для оценки авторы вводят бенчмарк DVTE-Bench: 1631 пара видео в восьми категориях текстовых наложений, с чистыми целевыми роликами, прошедшими OCR-проверку, попиксельными масками, выровненными по кадрам, и единым протоколом оценки. По результатам экспериментов на полном выпуске, DeOverlay превосходит четыре базовых метода по всем пяти метрикам реконструкции и перцептивного качества. Относительно сильнейшего из проверенных базовых методов Mask LPIPS снижается на 58,3%, а Mask VFID, на 70,3%. Дополнительные качественные примеры показывают удаление графических логотипов и стикеров. Авторы заявляют, что опубликуют полный бенчмарк, код оценки и результаты на тесте; у проекта есть страница на GitHub Pages.
Ключевые факты
- DeOverlay, модель с привязкой к исходнику для удаления субтитров, заголовков и логотипов из видео, обученная методом flow matching с весами по областям.
- Бенчмарк DVTE-Bench: 1631 пара видео, восемь категорий текстовых наложений, чистые цели с OCR-проверкой, покадровые маски и единый протокол оценки.
- По данным авторов, DeOverlay превосходит четыре базовых метода по всем пяти метрикам.
- Относительно сильнейшего базового метода Mask LPIPS снижается на 58,3%, Mask VFID, на 70,3%.
- Бенчмарк, код оценки и результаты на тесте авторы только обещают опубликовать.
Почему это важно
Удаление субтитров, титров и логотипов с видео, прикладная задача восстановления видео, где известные подходы, по словам авторов, оставляют остаточные следы наложений и искажают сцену. Работа предлагает и новый метод, и общий бенчмарк с единым протоколом оценки, что даёт возможность сравнивать разные решения на одних данных. Заявленное снижение Mask LPIPS на 58,3% и Mask VFID на 70,3% относительно сильнейшего базового метода выглядит значительным, но это результаты самих авторов.
Кому это важно
Исследователям видеогенерации и восстановления видео, которым нужен набор данных с масками и чистыми целями для оценки. Также тем, кто занимается обработкой и локализацией видео, где требуется убирать вшитые субтитры и графику. Это узкая исследовательская тема, широкой аудитории работа напрямую не затрагивает.
Как это применить
Пока практически применить нечего: авторы лишь заявляют, что опубликуют полный бенчмарк, код оценки и результаты на тесте. Для знакомства есть страница проекта yahooo-m.github.io/DVTE-Bench. Сведений о размере модели, скорости работы, требуемых вычислительных ресурсах или лицензии в тексте нет.
Можно ли доверять
Это аннотация статьи на Hugging Face: все результаты, утверждения самих авторов, независимой проверки в тексте нет. Четыре базовых метода и три из пяти метрик не названы, абсолютные значения метрик не приведены, только относительное снижение для двух метрик. Бенчмарк создан теми же авторами, что и метод, а выкладка данных и кода пока лишь обещана, поэтому воспроизвести результаты сейчас нельзя.
Риски и подводные камни
Сравнение идёт на собственном бенчмарке авторов, поэтому обобщаемость на другие данные неизвестна. Оценка охватывает текстовые наложения восьми категорий (список не приведён), а удаление графических логотипов и стикеров показано лишь на качественных примерах. Данных о длине и разрешении роликов, скорости вывода и стоимости вычислений нет. Технология удаления логотипов и субтитров также может применяться для снятия водяных знаков с чужого контента, но об этом в тексте не говорится.