GenCeption: модели генерации видео заменяют специализированные системы зрения
Авторы статьи «Video Generation Models are General-Purpose Vision Learners» (среди них Letian Wang) задаются вопросом: в NLP предсказание следующего токена превратило узкоспециализированные модели в универсальные фундаментальные системы, что может сыграть ту же роль в компьютерном зрении? Их ответ: масштабное обучение генерации видео по тексту (text-to-video), то есть предобучение модели предсказывать, как будет выглядеть видео по текстовому описанию, даёт пространственно-временные закономерности, согласование текста с изображением и масштабируемость, нужные для универсального зрения.
На этой идее построена модель GenCeption: она берёт уже предобученный генеративный видео-диффузионный backbone (основную нейросеть, генерирующую видео) и превращает его в модель восприятия прямого прохода (без отдельного дообучения под каждую задачу), которая выполняет разные задачи зрения по текстовым инструкциям, то есть одна и та же сеть решает разные задачи в зависимости от того, что у неё спросили текстом.
В экспериментах GenCeption показала результаты на уровне или выше специализированных моделей на широком наборе задач: оценка глубины, оценка нормалей поверхности (направления поверхности объекта в каждой точке), оценка позы камеры, сегментация объекта по текстовому описанию (expression-referring segmentation) и предсказание 3D-ключевых точек. В сравнении фигурируют модели DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo и Lotus-2, каждая заточена под свою узкую задачу. Кроме того, видео-предобучение GenCeption обошло по качеству другие популярные схемы самообучения на видео, V-JEPA и VideoMAE, при сопоставимых условиях.
Отдельно авторы подчёркивают эффективность по данным: GenCeption достигает результатов, сравнимых с лидерами D4RT и VGGT-Omega, используя в 7, 500 раз меньше обучающих данных. Также описано неожиданное поведение: модель, обученную исключительно на синтетических видео с людьми, удалось применить к реальным видеозаписям и объектам, которых не было в обучающей выборке, например, животным и роботам, и она справилась с ними без дополнительного дообучения.
Вывод авторов: генерация видео, не просто инструмент синтеза изображений, а потенциальный фундаментальный путь к универсальному визуальному интеллекту, способному понимать физический мир.
Ключевые факты
- GenCeption берёт предобученный видео-диффузионный backbone и превращает его в единую модель восприятия, которая решает разные задачи зрения по текстовым инструкциям, без отдельного дообучения под каждую задачу
- На задачах оценки глубины, нормалей поверхности, позы камеры, сегментации по текстовому описанию и 3D-ключевых точек модель соответствует или превосходит специализированные системы (DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens и другие)
- Видео-предобучение GenCeption обошло по качеству альтернативные схемы самообучения на видео, V-JEPA и VideoMAE
- Модель достигает уровня лидеров D4RT и VGGT-Omega, используя в 7, 500 раз меньше обучающих данных
- Модель, обученная только на синтетических видео с людьми, обобщается на реальные записи и объекты вне обучающей выборки, животных и роботов
Почему это важно
Работа предлагает конкретный кандидат на роль общей основы для компьютерного зрения, по аналогии с тем, как предсказание следующего токена стало основой для языковых моделей. Идея в том, что обучение генерировать видео по тексту само по себе учит модель понимать пространство, время и связь текста с изображением, и эти знания потом можно переиспользовать для самых разных задач зрения одной и той же сетью, а не набором узких моделей.
Кому это важно
Прежде всего исследователям и инженерам, которые строят системы компьютерного зрения, распознавание глубины сцены, позы камеры, сегментацию объектов. Оценка позы камеры и 3D-ключевых точек напрямую относятся к робототехнике и автономным системам, которым нужно понимать трёхмерную структуру окружения. Работа также интересна тем, кто разрабатывает видео-генеративные модели: она предлагает им дополнительное практическое применение помимо самого синтеза видео.
Как это применить
Практический смысл подхода, не тратить ресурсы на обучение отдельной специализированной модели под каждую задачу зрения, а использовать один универсальный backbone, которому задачу задают текстовой инструкцией. Заявленная экономия данных (в 7, 500 раз меньше при сравнимом качестве) снижает стоимость получения рабочей системы под новую задачу, если результаты подтвердятся на практике за пределами тестовых наборов авторов.
Можно ли доверять
Это исследовательская статья, размещённая на платформе Hugging Face Papers (44 балла, 1 комментарий на момент публикации), то есть свежая работа, ещё не прошедшая проверку временем и независимым воспроизведением. Заявления о превосходстве над перечисленными специализированными моделями и о состоянии «на уровне лучших» опираются на собственные эксперименты авторов; независимая проверка результатов другими группами в тексте не упомянута.
Риски и подводные камни
Как и во многих статьях со сравнением с большим числом специализированных базовых моделей, есть риск, что выбор задач и метрик подобран в пользу предложенного метода. Заявленный «эмерджентный» перенос с синтетических видео людей на реальные записи и объекты вне обучающей выборки (животные, роботы) звучит многообещающе, но детали того, насколько надёжен и воспроизводим такой перенос вне тестовых примеров авторов, в резюме статьи не раскрыты.
«Генерация видео, не просто инструмент синтеза, а фундаментальный путь к универсальному визуальному интеллекту для физического мира.»
— из статьи Letian Wang и соавторов