Youtu-Parsing-Omni: один парсер на 5 млрд параметров читает документы, аудио и видео
В статье представлен Youtu-Parsing-Omni, омнимодальный парсер, который преобразует документы, изображения, аудио и видео в структурированные записи с привязкой к пространству и времени. Авторы позиционируют его как слой восприятия для агентов, которые читают, находят и цитируют свидетельства в разных модальностях.
Архитектура держится на двух идеях: один энкодер на все модальности и одна схема на все задачи. Энкодер Youtu-Omni-Encoder инициализирован из предобученной языковой модели, чтобы лучше читать текст. Он кодирует все модальности с общими весами в единой пространственно-временной системе координат. Несколько слоёв слияния позволяют кадрам видео обращаться к параллельному аудио, так что межмодальное слияние и временное выравнивание происходят уже на этапе восприятия.
Схема OmniSchema унифицирует выходы всех десяти задач парсинга. Благодаря этому можно применить одну самоэволюционирующую процедуру дообучения, OmniSchema-Aware On-Policy Distillation (OSAD), дистилляцию на собственных траекториях с учётом схемы, с общей для всех задач целевой функцией на основе ролей токенов. В каждом раунде модель обучается на собственных прогонах относительно токен-уровневых целей от копии самой себя, условной по эталону; затем эта копия обновляется обученными весами. Так парсер и его «надзор» развиваются совместно.
Результаты: единственный чекпойнт на 5 млрд параметров, по заявлению авторов, показывает лучший результат на OmniDocBench v1.6 (96,96 Overall) и лидирует среди моделей с открытыми весами на OmniParsingBench (75,08 в среднем), причём преимущество сосредоточено на аудио и видео. Также заявлены лучший общий результат в разборе диаграмм (95,02), наивысшее точное совпадение химических отпечатков среди сравниваемых систем и паритет со специализированной моделью оптического распознавания нот в посимвольной транскрипции набранных нот при большом отрыве от универсальных систем. Код и веса модели, как сказано в статье, опубликованы.
Ключевые факты
- Youtu-Parsing-Omni превращает документы, изображения, аудио и видео в структурированные записи с привязкой к пространству и времени.
- Один энкодер Youtu-Omni-Encoder с общими весами для всех модальностей и одна схема OmniSchema для всех десяти задач парсинга.
- Единый чекпойнт на 5 млрд параметров: 96,96 Overall на OmniDocBench v1.6 (заявлен лучший результат) и 75,08 в среднем на OmniParsingBench, лидер среди моделей с открытыми весами.
- Обучение через OSAD: модель учится на собственных прогонах против целей от своей копии, которая затем обновляется.
- Код и веса модели опубликованы.
Почему это важно
Обычно для документов, аудио и видео нужны отдельные специализированные системы. Здесь заявлен единый парсер: одна модель на 5 млрд параметров с общим энкодером и общей выходной схемой. Авторы подают его как слой восприятия для агентов, которым нужно не только читать, но и указывать, где именно найдено свидетельство, и цитировать его.
Кому это важно
Разработчикам агентов и систем поиска по документам, аудио и видео, которым нужны структурированные результаты с привязкой к месту и времени. Также исследователям мультимодальных моделей и дистилляции: интересны общий энкодер и процедура OSAD.
Как это применить
Авторы сообщают, что код и веса модели опубликованы, так что модель можно попробовать как единый парсер для разных типов входа. Единая схема OmniSchema означает, что результаты всех десяти задач приходят в одном формате, что упрощает передачу их дальше в агентный конвейер.
Можно ли доверять
Все результаты, заявления самих авторов, взятые из аннотации статьи. Для сравнений не приведены названия конкурирующих систем и их оценки, поэтому величину отрыва понять нельзя. Результаты по диаграммам, химическим отпечаткам и нотам не привязаны к названным бенчмаркам, а для химии и нот числа не даны. Лидерство на OmniParsingBench заявлено среди моделей с открытыми весами и не означает превосходства над закрытыми системами.
Риски и подводные камни
В аннотации нет сведений об обучающих данных, вычислительных затратах и скорости работы модели, поэтому стоимость применения оценить трудно. Преимущество на OmniParsingBench сосредоточено на аудио и видео, так что в других областях выигрыш может быть меньше. Прежде чем строить на модели продукт, результаты стоит проверить независимо на своих данных.