OvisOCR2: компактная модель для распознавания документов побила SOTA на OmniDocBench
Команда во главе с Шиин Лу представила OvisOCR2, end-to-end модель распознавания документов размером всего 0,8 млрд параметров. В отличие от классических конвейеров распознавания, которые разбивают задачу на отдельные этапы (детекция текста, распознавание символов, разбор таблиц, вёрстка), OvisOCR2 работает как единая модель: получает на входе изображение страницы документа и сразу выдаёт Markdown-представление в естественном порядке чтения, включая текст, формулы, таблицы и визуальные блоки.
Для обучения авторы построили собственный конвейер данных, который совмещает отфильтрованную разметку реальных документов с синтетическими страницами: изображение и целевой Markdown для них генерируются из одного и того же HTML-исходника, что гарантирует точное соответствие. Сам процесс обучения многоступенчатый: сначала supervised fine-tuning, затем обучение с подкреплением на промежуточной модели с 4 млрд параметров с составным дизайном награды, после этого on-policy дистилляция знаний в итоговую модель на 0,8 млрд параметров и финальное слияние моделей (model fusion).
На бенчмарке OmniDocBench v1.6 OvisOCR2 набрала 96,58 балла, лучший результат среди всех участников, включая конвейерные системы, которые раньше доминировали в этом рейтинге. Авторы подчёркивают, что это первый случай, когда end-to-end модель возглавила данный лидерборд. На втором бенчмарке, PureDocBench, модель также показала лучший результат по метрике Avg3, 75,06 балла. Дополнительно команда протестировала модель на собственном закрытом бенчмарке, охватывающем более редкие и сложные сценарии (long-tail cases), и там OvisOCR2 тоже опередила сравниваемые методы, что авторы приводят как подтверждение обобщающей способности модели. Веса модели выложены в открытый доступ на HuggingFace под аккаунтом ATH-MaaS.
Ключевые факты
- OvisOCR2, end-to-end модель распознавания документов на 0,8 млрд параметров, конвертирует изображение страницы сразу в Markdown
- На бенчмарке OmniDocBench v1.6 набрала 96,58 балла, лучший результат, обойдя конвейерные (pipeline) системы распознавания
- На бенчмарке PureDocBench показала лучшую метрику Avg3, 75,06 балла
- Обучение прошло в несколько этапов: supervised fine-tuning, RL на модели с 4 млрд параметров, дистилляция в компактную модель, слияние моделей
- Модель дополнительно проверена на закрытом бенчмарке с редкими и сложными случаями и опубликована на HuggingFace (ATH-MaaS/OvisOCR2)
Почему это важно
Распознавание документов (OCR) годами строилось как конвейер из отдельных модулей: один находит текстовые блоки, другой распознаёт символы, третий разбирает таблицы, четвёртый собирает вёрстку обратно. OvisOCR2 показывает, что единая end-to-end модель может обойти такие конвейеры по качеству на публичном лидерборде OmniDocBench v1.6, причём при компактном размере в 0,8 млрд параметров. Это сигнал, что сложные многоэтапные пайплайны для разбора документов не единственный путь к высокому качеству.
Кому это важно
Разработчикам инструментов для оцифровки документов, компаниям, которые превращают сканы счетов, договоров, научных статей и отчётов в структурированный текст, а также командам, которые готовят данные для обучения LLM и нуждаются в качественном извлечении текста из PDF и изображений.
Как это применить
Веса модели опубликованы в открытом доступе на HuggingFace (ATH-MaaS/OvisOCR2). Небольшой размер модели (0,8 млрд параметров) делает её пригодной для локального запуска и относительно дешёвого инференса по сравнению с крупными мультимодальными моделями, а прямой вывод в формате Markdown упрощает интеграцию в существующие текстовые пайплайны без дополнительной постобработки.
Можно ли доверять
Результаты приведены на двух независимых публичных бенчмарках (OmniDocBench v1.6 и PureDocBench) плюс на закрытом in-house бенчмарке команды. Публичные лидерборды позволяют сторонним пользователям перепроверить заявленные цифры, что повышает доверие к результату. При этом сама разработка исходит от малоизвестной команды, а закрытый бенчмарк по определению не поддаётся независимой проверке.
Риски и подводные камни
Модель узкоспециализирована, она решает только задачу распознавания и разметки документов, а не общие мультимодальные задачи. Заявленные результаты на in-house бенчмарке нельзя проверить независимо, а разработчик (аккаунт ATH-MaaS) не является известным игроком на рынке ИИ, что снижает уверенность в воспроизводимости результатов вне лабораторных условий авторов.