ИИтог

Baidu обучила модель OCR, обрабатывающую десятки страниц за один проход благодаря методу скользящего окна внимания

исследованияРедакция ИИтогThe Decoder🔥85Рейтинг ИИтог · значимость 79 · 71429/ч
Baidu обучила модель OCR, обрабатывающую десятки страниц за один проход благодаря методу скользящего окна внимания

Baidu разработала OCR-модель Unlimited OCR, которая преодолевает главное ограничение современных систем распознавания текста, невозможность обрабатывать больше десяти страниц за один проход. Проблема в кеше KV, буфере языковой модели, где хранятся все обработанные токены для последующего доступа. При обработке новых строк текста буфер растёт, увеличивая требования к памяти и замедляя работу.

Baidu решила проблему, используя инновационный механизм Reference Sliding Window Attention (R-SWA). Вместо того чтобы генерируемый токен мог смотреть на весь предыдущий текст, модель смотрит только на последние 128 токенов сгенерированного текста, сохраняя неограниченный доступ к визуальным токенам и подсказкам. Это позволяет зафиксировать размер кеша на постоянном уровне независимо от количества страниц.

Модель разработана на базе открытого Deepseek OCR, дополнена архитектурой смеси экспертов (3 млрд параметров, из них только ~500 млн активны при выводе) и достигает 93.92% точности на бенчмарке OmniDocBench v1.6. При обработке более 40 страниц уровень ошибок остаётся ниже 0.11, скорость обработки на 12.7% выше, чем у базовой Deepseek OCR. Модель, код и веса доступны на GitHub и Hugging Face.

Ключевые факты

  • Unlimited OCR обрабатывает до 40+ страниц документа за один проход благодаря фиксированному размеру кеша, тогда как современные системы обрабатывают максимум 10 страниц с перезагрузкой буфера между ними
  • Reference Sliding Window Attention (R-SWA) ограничивает окно внимания для сгенерированного текста последними 128 токенами, но сохраняет полный доступ к визуальным токенам и исходной подсказке
  • Модель достигает 93.92% точности на OmniDocBench v1.6 (выше Deepseek OCR на 6 процентных пункта) и на 12.7% быстрее при обработке длинных документов
  • Система обучена на двух миллионах документов (9:1 соотношение одностраничных и многостраничных) с использованием смеси экспертов из 3 млрд параметров
  • Основное ограничение: фиксированный контекст из 32,000 токенов; Baidu планирует версии с 128,000 токен-контекстом и механизмом выборочного доступа к блокам памяти

Почему это важно

OCR превратилась в активное поле соревнований среди AI-компаний, где главный метрик, токенная эффективность. Способность обрабатывать многостраничные документы единым проходом значительно снижает требования к памяти и вычислениям. Это имеет широкие применения: от сокращения затрат на обработку длинных истории чатов (разработчики уже используют подобные методы в Anthropic Fable 5) до повышения производительности систем массовой обработки отсканированных архивов. Разработка Baidu показывает, что проблема увеличения контекстного окна может быть решена не столько через масштабирование сырой памяти, сколько через умную архитектуру внимания.

Кому это важно

Разработчикам и компаниям, работающим с обработкой документов в масштабе: юридические фирмы, бухгалтерии, библиотеки, архивы и системы управления документами. Создателям LLM-приложений, где нужно передавать многостраничные документы (контрактов, отчётов, научных статей) моделям для анализа. Компаниям облачных сервисов, где каждая экономия текущих токенов прямо влияет на маржу. Исследователям, работающим над повышением эффективности внимания и масштабирования языковых моделей.

Как это применить

Модель доступна на Hugging Face, GitHub и в рамках интеграций ModelScope, vLLM и SGLang. Её можно попробовать в интерактивной демонстрации на Hugging Face Spaces. Разработчики могут интегрировать Unlimited OCR вместо стандартных подходов при обработке мультистраничных PDF, сканов контрактов и архивов. Для специфичных случаев (вроде распознавания почерка и сложных таблиц) конкуренты (Mistral OCR 3, Deepseek OCR 2) предлагают альтернативы, но для чистого многостраничного текста Unlimited OCR показывает лучшие результаты.

Можно ли доверять

Результаты опубликованы в техническом отчёте самой Baidu и подтверждены независимым бенчмарком OmniDocBench v1.6, где модель заняла первое место среди end-to-end систем. Точность (93.92%) и скорость сравнимы с конкурентами. Код и веса открыты для проверки. Единственная оговорка: некоторые ошибки авторы приписывают ограничениям разрешения входного кодировщика (Base mode), а не самому механизму внимания, что требует независимой проверки на практике.

Риски и подводные камни

Текущее ограничение, контекст из 32,000 токенов не гарантирует обработку очень больших документов (сотни страниц) в буквальный один проход. На длинных документах с мелким текстом ошибки растут: авторы связывают это с разрешением входного энкодера, но это требует тестирования на реальных данных. Методика R-SWA перспективна, но она конкурирует с параллельной и независимо развивающейся работой Deepseek и Mistral; неясно, как быстро конкурентная экосистема её адаптирует. Чтение нескольких млн документов для обучения и использование синтетических многостраничных данных может повлиять на обобщаемость к уникальным форматам и структурам реальных архивов.

«Baidu обучила OCR-модель, которая управляет памятью как люди, они не перечитывают всё написанное, а держат внимание на исходнике, последних нескольких символах и следующем для записи.»

— The Decoder