Vision as Unified Multimodal Generation: как SenseNova-Vision свела всё компьютерное зрение к генерации текста и картинок
Команда авторов (среди них Xiaoyang Han) предложила переформулировать компьютерное зрение как задачу унифицированной мультимодальной генерации. Идея в том, чтобы разнородные визуальные задачи, от детекции объектов до оценки позы камеры, описывались в тех же пространствах генерации текста и изображений, в которых работает обычная мультимодальная модель, без специализированных архитектурных блоков под каждую задачу.
На этой основе построена модель SenseNova-Vision. Она принимает задачу в виде инструкции на естественном языке и, опционально, визуальной подсказки (например, выделенной области или конкретного ракурса), а результат выдаёт в одной из трёх форм: текстом, для символьных ответов (метки классов, координаты, текстовые описания), изображением, для плотных пространственных предсказаний (карты глубины, маски сегментации), либо смешанным текстово-графическим выводом, для составных задач, где нужен и текст, и картинка одновременно.
Чтобы обучить такую модель в большом масштабе, авторы преобразовали разнородные размеченные наборы данных компьютерного зрения в формат «инструкция-ответ», совместимый с генеративными пространствами модели. Так получился SenseNova-Vision Corpus, корпус инструкций для компьютерного зрения, охватывающий текстовые, графические и смешанные целевые форматы. Обучение стартовало с готовой предобученной унифицированной мультимодальной модели: основной упор был сделан на новый корпус, а вспомогательные мультимодальные данные подмешивались, чтобы модель не теряла общие способности. При этом не потребовалось ни отдельных «голов» предсказания под конкретные задачи, ни архитектурных модификаций.
В результате одна модель покрывает широкий спектр задач: детекцию объектов, распознавание текста (OCR), оценку ключевых точек, сегментацию, оценку глубины, предсказание нормалей поверхностей, построение карт точек и оценку положения камеры. Модель также поддерживает варианты задач, заданные языком, например, запрос может комбинировать категорию объекта, цвет, конкретную область изображения и другие визуальные признаки.
По заявлению авторов, эксперименты показывают: единая унифицированная модель способна соответствовать по качеству специализированным системам, заточенным под конкретную задачу, в структурированном визуальном понимании, плотном геометрическом предсказании, сегментации и мультиракурсной визуальной геометрии. Авторы делают вывод, что унифицированная мультимодальная генерация, масштабируемый путь интеграции возможностей компьютерного зрения в универсальные модели общего назначения. Модель и корпус данных выложены в открытый доступ.
Ключевые факты
- SenseNova-Vision сводит разнородные задачи компьютерного зрения (детекция, OCR, сегментация, оценка глубины, поза камеры и др.) к единому формату генерации текста и изображений, без специализированных архитектур под каждую задачу.
- Задача задаётся инструкцией на естественном языке плюс опциональной визуальной подсказкой; ответ выдаётся текстом, изображением или их сочетанием в зависимости от типа задачи.
- Для обучения собран SenseNova-Vision Corpus, размеченные данные компьютерного зрения, переведённые в формат «инструкция-ответ».
- Модель дообучена поверх готовой предобученной унифицированной мультимодальной модели, без отдельных предсказательных «голов» и архитектурных изменений.
- По результатам экспериментов единая модель не уступает специализированным системам в задачах структурированного понимания, плотного геометрического предсказания, сегментации и мультиракурсной геометрии; модель и корпус открыты.
Почему это важно
Компьютерное зрение исторически строилось на зоопарке специализированных архитектур: отдельная сеть под детекцию, отдельная под сегментацию, отдельная под оценку глубины. SenseNova-Vision предлагает архитектурное упрощение, одна унифицированная мультимодальная модель, которая через генерацию текста и изображений покрывает почти весь спектр задач зрения. Это продолжает общий тренд последних лет: свести разные модальности и задачи к единому генеративному интерфейсу, как это уже произошло с языковыми моделями.
Кому это важно
В первую очередь, исследователям и инженерам, разрабатывающим мультимодальные модели и системы компьютерного зрения: подход снижает необходимость поддерживать отдельные архитектуры под каждую задачу. Полезно и командам, которые строят прикладные системы (робототехника, автономное вождение, анализ изображений), где нужно решать сразу несколько разнородных визуальных задач одной моделью, а также тем, кто занимается генерацией обучающих данных из разметки компьютерного зрения.
Как это применить
Модель и корпус данных SenseNova-Vision выложены в открытый доступ, что позволяет воспроизвести подход или дообучить модель под собственные задачи. Ключевая практическая идея, конвертация существующих размеченных наборов компьютерного зрения в формат «инструкция-ответ»: этот приём применим и к другим унифицированным мультимодальным моделям, а не только к описанной в статье.
Можно ли доверять
Это исследовательская публикация (препринт на Hugging Face Papers, идентификатор 2607.06560) с относительно скромным откликом сообщества, 15 очков и 1 комментарий на момент публикации. Заявления об уровне качества, сопоставимом со специализированными системами, приведены авторами по итогам собственных экспериментов; независимой стороннй проверки результатов в тексте нет. Открытая публикация модели и корпуса даёт возможность верификации третьими сторонами, но на момент написания заметки такая верификация ещё не отражена в источнике.
Риски и подводные камни
Унификация архитектуры не гарантирует одинаково высокое качество на всех задачах одновременно, авторы говорят о сопоставимости со специализированными системами «в среднем», но не приводят исчерпывающего разбора возможных провалов на отдельных подзадачах или граничных случаях. Кроме того, подход опирается на масштабный конвертированный корпус разметки: качество и охват итоговой модели напрямую зависят от полноты и разнообразия исходных датасетов, из которых собран SenseNova-Vision Corpus.