Почему распознавание сложных PDF больше не сводится к OCR

От OCR к пониманию документа

Классический OCR отвечает на достаточно простой вопрос: какие символы изображены на странице.

Для реального использования этого недостаточно.

Если документ содержит таблицу, системе необходимо определить её границы, понять, где находятся строки и столбцы, восстановить объединённые ячейки и сохранить связи между данными. Если документ занимает несколько страниц, требуется определить, где заканчивается одна таблица и продолжается другая. Если на странице присутствуют комментарии от руки, их необходимо отделить от основного содержимого.

Фактически задача меняется. Вместо распознавания текста требуется восстановление структуры документа целиком. Именно поэтому современные пайплайны обычно включают анализ макета страницы, определение логических блоков, извлечение таблиц, восстановление порядка чтения и последующую нормализацию данных.

Почему текст перестал быть главным источником ошибок

Косвенно это видно по тому, как изменились сами бенчмарки.

Ранние оценки OCR концентрировались на точности символов или слов. Современные наборы данных всё чаще оценивают дополнительные характеристики документа: таблицы, формулы, порядок чтения и структуру страниц. В частности, OmniDocBench рассматривает документ как совокупность взаимосвязанных элементов, а не как поток текста.

Это отражает практическую проблему. В большинстве бизнес-сценариев ошибка в одной цифре действительно критична, но ошибка в структуре таблицы может сделать бесполезным весь результат обработки.

Если система правильно распознала значения, но перепутала строки, столбцы или заголовки, данные становятся недостоверными.

Поэтому современные исследования всё чаще используют структурные метрики, а не только показатели качества OCR.

Таблицы как главный источник сложности

Практически все современные исследования обработки документов выделяют таблицы как отдельную категорию задач.

Причина проста: таблица хранит не только текст, но и отношения между элементами.

Система должна определить:

• где находятся границы таблицы;

• какие ячейки относятся к одной строке;

• какие столбцы связаны между собой;

• каки� ячейки объединены;

• какой порядок чтения следует использовать.

Даже небольшая ошибка на любом этапе может привести к разрушению структуры.

Особенно сложными остаются многостраничные таблицы. Большинство систем обрабатывает страницы независимо друг от друга. В результате строки оказываются разорваны между страницами, а логическая связь между частями таблицы теряется. Исследования по извлечению данных из финансовых и регуляторных документов называют такие случаи одной из основных причин ошибок.

Порядок чтения оказывается не менее важным, чем OCR

Для человека структура документа очевидна. Мы без труда понимаем, какой блок следует читать первым, где находится примечание, а где подпись к таблице.

Для алгоритма это отдельная задача.

Современные бенчмарки всё чаще учитывают порядок чтения как самостоятельную характеристику качества системы. Ошибки возникают даже тогда, когда текст распознан корректно. Документ может быть прочитан в неправильной последовательности, что приводит к потере смысла.

По этой причине многие современные инструменты уделяют большое внимание layout analysis — анализу расположения объектов на странице. В открытых проектах вроде Surya и Marker этот компонент уже рассматривается как обязательная часть пайплайна, а не как дополнительная возможность.

Рукописные пометки остаются отдельной проблемой

Ещё одна область, где классический OCR оказывается недостаточным, — смешанные документы.

Если на странице одновременно присутствуют печатный текст, подписи, комментарии от руки и исправления, задача перестаёт быть стандартным OCR-сценарием. Исследования, посвящённые смешанным документам, подчёркивают, что такие случаи требуют специализированной обработки и не могут рассматриваться как обычное распознавание текста.

Дополнительную сложность создаёт качество исходных материалов. Рукописный текст часто встречается в сканах невысокого разрешения, что одновременно ухудшает и распознавание символов, и анализ структуры страницы. Поэтому многие современные решения используют отдельные модели или специальные этапы обработки рукописных фрагментов.

Почему даже мультимодальные модели не решили проблему

На первый взгляд могло показаться, что мультимодальные модели способны закрыть все перечисленные задачи одной архитектурой.

Однако результаты последних исследований показывают более осторожную картину.

Модели без OCR действительно демонстрируют хорошие результаты в задачах понимания документов и ответа на вопросы по содержимому. Но при работе с плотным текстом, сложными таблицами и документами низкого качества системы с OCR-поддержкой по-прежнему показывают более стабильные результаты. Более того, некоторые исследования демонстрируют улучшение качества OCR-free моделей после добавления OCR-постобработки.

Причина заключается в том, что проблема лежит не только в распознавании текста. Даже идеально прочитанные символы не гарантируют правильного восстановления структуры документа.

Что на самом деле извлекают современные системы

Если посмотреть на современные инструменты обработки документов, становится заметно, что они постепенно смещаются от OCR к извлечению структуры.

Marker ориентирован на преобразование PDF в структурированные представления вроде Markdown и JSON. Surya совмещает OCR с анализом макета страницы и определением порядка чтения. PaddleOCR активно развивает компоненты для структурированных документов и таблиц. Даже коммерческие платформы вроде Google Document AI позиционируются прежде всего как инструменты анализа документов, а не просто OCR-сервисы.

Это отражает общий сдвиг отрасли: ценность создаётся не на этапе извлечения символов, а на этапе преобразования документа в структурированные данные.

Вывод

Современные сложные PDF-документы плохо описываются термином «OCR-задача».

Основные ограничения возникают не при распознавании текста, а при восстановлении структуры документа. Таблицы, порядок чтения, многостраничные сущности, рукописные пометки и ошибки макета оказываются более серьёзными источниками проблем, чем собственно чтение символов.

Поэтому развитие Document AI сегодня движется не в сторону всё более точного OCR, а в сторону систем, способных понимать организацию документа и сохранять связи между его элементами. Именно эта способность становится ключевым фактором качества при работе со сложными PDF.