[论文解读] OCR-free Document Understanding Transformer

Geewook Kim, Teakgyu Hong+8 more|arXiv (Cornell University)|Nov 30, 2021

Handwritten Text Recognition Techniques被引用 5

一句话总结

本文提出 Donut，一种基于 Transformer 架构的端到端无 OCR 视觉文档理解（VDU）模型，可直接将文档图像映射为结构化输出。通过在合成数据上使用简单的交叉熵目标进行文本预测预训练，Donut 在无需 OCR 的情况下，实现了多个 VDU 任务的最先进准确率与速度，同时支持多语言泛化。

ABSTRACT

Understanding document images (e.g., invoices) is a core but challenging task since it requires complex functions such as reading text and a holistic understanding of the document. Current Visual Document Understanding (VDU) methods outsource the task of reading text to off-the-shelf Optical Character Recognition (OCR) engines and focus on the understanding task with the OCR outputs. Although such OCR-based approaches have shown promising performance, they suffer from 1) high computational costs for using OCR; 2) inflexibility of OCR models on languages or types of document; 3) OCR error propagation to the subsequent process. To address these issues, in this paper, we introduce a novel OCR-free VDU model named Donut, which stands for Document understanding transformer. As the first step in OCR-free VDU research, we propose a simple architecture (i.e., Transformer) with a pre-training objective (i.e., cross-entropy loss). Donut is conceptually simple yet effective. Through extensive experiments and analyses, we show a simple OCR-free VDU model, Donut, achieves state-of-the-art performances on various VDU tasks in terms of both speed and accuracy. In addition, we offer a synthetic data generator that helps the model pre-training to be flexible in various languages and domains. The code, trained model and synthetic data are available at https://github.com/clovaai/donut.

研究动机与目标

• 解决依赖 OCR 的 VDU 流水线固有的高计算成本、灵活性差和误差传播问题。
• 开发一种端到端文档理解模型，通过直接学习从原始图像到结构化输出的映射，绕过 OCR。
• 通过合成数据生成和预训练，实现多语言和领域灵活的文档理解。
• 证明一种基于简单 Transformer 架构、预训练目标极简的模型，可在速度和准确率上超越复杂的 OCR 基准模型。

提出的方法

• 提出 Donut，一种视觉-语言 Transformer 模型，以原始文档图像为输入，直接生成结构化输出（例如 JSON）。
• 采用基于下一项词预测的预训练目标，同时依赖图像特征和先前文本标记，以在无需 OCR 的情况下学习文本读取。
• 利用合成文档图像生成器 SynthDoG，创建多样化的多语言训练数据用于预训练。
• 采用预训练-微调范式：在合成数据上预训练以理解文本，然后在下游 VDU 任务上微调。
• 使用预测序列与真实文本序列之间的交叉熵损失，端到端训练模型。
• 通过在多种语言和文档类型上预训练合成数据，实现领域和语言的泛化能力。

实验结果

研究问题

• RQ1 一个简单、端到端的基于 Transformer 的模型是否能在不依赖 OCR 的情况下实现 VDU 的最先进性能？
• RQ2 在低资源设置下，无 OCR 模型的性能与基于 OCR 的基线模型相比，在速度、准确率和鲁棒性方面表现如何？
• RQ3 SynthDoG 生成的合成数据在无需真实世界标注数据的情况下，能在多大程度上实现多语言和领域泛化的 VDU？
• RQ4 在简单文本预测目标上进行预训练，是否足以使模型具备强大的整体文档理解能力？

主要发现

• Donut 在多个 VDU 基准测试中达到最先进性能，包括 CORD、FUNSD 和 SROIE，其准确率和推理速度均优于基于 OCR 的模型。
• 在 CORD 数据集上，Donut 仅使用 10% 的训练数据（80 个样本）即实现了 95.4% 的 F1 分数，其文档解析性能在低资源条件下优于 LayoutLMv2。
• 该模型对低分辨率输入表现出强鲁棒性，即使在 2560×1920 分辨率下，使用极少训练数据也能保持优异性能。
• SynthDoG 有效支持了在合成数据上的预训练，使 Donut 无需重新训练 OCR 组件即可在多语言和多领域间实现泛化。
• Donut 通过消除对独立 OCR 推理的需求，显著降低计算成本，实现比基于 OCR 的流水线更快的端到端推理速度。
• 消融实验证实，专注于文本预测的预训练目标已足够使模型学习到文本读取和整体文档理解能力。