SynthDocBench выявил слабые места VLM в длинных документах

Существующие бенчмарки на понимание документов моделями VLM (vision-language, модели, работающие одновременно с текстом и изображениями), такие как DocVQA, ChartQA и MMLongBench-Doc, намешивают сразу несколько факторов реального документа: длину, сложность вёрстки, состав модальностей (текст, картинки, таблицы) и сложность вопросов. Из-за этого при провале модели нельзя понять, какая именно причина сработала. Исследователь Абхигья Верма и коллеги представили SynthDocBench, полностью синтетический бенчмарк, где каждый из этих факторов меняется независимо от остальных по комбинаторной схеме.

Документы генерируются целиком end-to-end LLM-конвейером по шести архетипам вёрстки, а в 40% случаев в шаблон вносится случайное отклонение, чтобы модели не могли подгоняться под побочные закономерности вместо реального понимания содержимого. По длине и структурному разнообразию документы в SynthDocBench заметно превосходят существующие бенчмарки на длинный контекст.

На семи топовых VLM авторы обнаружили три типа провалов, которые прежние бенчмарки не показывали: во-первых, точность резко падает с ростом длины документа; во-вторых, у пяти из шести моделей труднее всего даётся середина документа (средняя треть), и у тех же пяти из шести моделей точность стабильно снижается от начала документа к концу, самое резкое падение составило 8,3 процентного пункта; в-третьих, в длинных документах у моделей ломается понимание графиков (chart comprehension), хотя на коротких документах те же модели с графиками справлялись.

Вывод авторов: нынешние модели, вероятно, переобучены под артефакты существующих бенчмарков, а не действительно умеют устойчиво работать с длинными документами, где вперемешку идут текст, таблицы и графики.

Ключевые факты

SynthDocBench, синтетический бенчмарк, где длина документа, вёрстка, состав модальностей и тип вопроса меняются независимо друг от друга по комбинаторной схеме.
Документы генерирует LLM-конвейер по 6 архетипам вёрстки; в 40% случаев вносится случайное отклонение от шаблона, чтобы модели не подгонялись под побочные закономерности.
На 7 топовых VLM показано: точность резко падает с ростом длины документа.
У 5 из 6 моделей труднее всего даётся середина документа, и точность падает от начала к концу, худший случай минус 8,3 процентного пункта.
В длинных документах у моделей дополнительно ломается понимание графиков; авторы считают, что модели переобучены под артефакты старых бенчмарков, а не устойчивы к длинному контексту.

Почему это важно

Реальные документы одновременно длинные, сложно свёрстаны, содержат разные модальности (текст, картинки, таблицы, графики) и порождают вопросы разной трудности. Когда модель проваливает такой документ, обычные бенчмарки не позволяют понять, что именно стало причиной: сама длина, вёрстка, смешение модальностей или сложность вопроса. SynthDocBench впервые разводит эти факторы по отдельности, синтетически генерируя документы так, чтобы менять один параметр, не трогая остальные, это даёт первое чёткое разложение причин провала VLM на длинных документах.

Кому это важно

Разработчикам моделей для работы с документами (VLM, мультимодальные ассистенты, OCR- и RAG-системы над PDF и сканами), командам, которые строят продукты на базе документного ИИ (юридический, финансовый, медицинский анализ бумаг), а также исследователям, которые оценивают устойчивость моделей к длинному контексту.

Как это применить

Авторы предлагают методологию и сам бенчмарк как инструмент диагностики: можно прогнать свою VLM через SynthDocBench и увидеть, на каком именно факторе (длина, вёрстка, модальность, позиция информации в документе) модель теряет точность. Практический вывод для продуктовых команд: важные факты в длинном документе, размещённые в его середине, модель с большей вероятностью упустит, это стоит учитывать при проектировании чанкинга и промптов для систем работы с длинными документами, а графики в длинных документах требуют отдельной проверки.

Можно ли доверять

Это препринт, опубликованный на HuggingFace Papers (58 отметок, 2 комментария в обсуждении), независимого рецензирования по тексту не указано. Бенчмарк и выводы принадлежат одной исследовательской группе, а сами документы для теста синтетические, сгенерированные LLM-конвейером, а не собранные из реальных корпусов. Это разумный первый шаг для контролируемого анализа, но не финальная проверка на реальных данных.

Риски и подводные камни

Синтетические документы, даже разнообразные по вёрстке и длине, могут не полностью отражать особенности настоящих деловых и научных документов, перенос выводов на прод-данные не гарантирован. Оценка охватывает всего семь моделей, а часть ключевых цифр (например, спад на 8,3 процентного пункта) получена по подвыборке из шести из них, так что обобщать выводы на все VLM преждевременно. Вывод о переобучении моделей под артефакты бенчмарков, это интерпретация авторов, а не строго доказанная причинно-следственная связь.