[论文解读] TRIE: End-to-End Text Reading and Information Extraction for Document Understanding

Peng Zhang, Yunlu Xu+6 more|arXiv (Cornell University)|May 27, 2020

Handwritten Text Recognition Techniques参考文献 62被引用 12

一句话总结

本文提出 TRIE，一种统一的端到端框架，联合优化视觉丰富文档（VRDs）的文本识别与信息抽取。通过融合多模态视觉与文本特征，并在任务间实现相互监督，TRIE 在包括结构化、半结构化、固定版式和可变版式文档在内的多种文档类型中，实现了最先进的准确率与速度。

ABSTRACT

Since real-world ubiquitous documents (e.g., invoices, tickets, resumes and leaflets) contain rich information, automatic document image understanding has become a hot topic. Most existing works decouple the problem into two separate tasks, (1) text reading for detecting and recognizing texts in images and (2) information extraction for analyzing and extracting key elements from previously extracted plain text. However, they mainly focus on improving information extraction task, while neglecting the fact that text reading and information extraction are mutually correlated. In this paper, we propose a unified end-to-end text reading and information extraction network, where the two tasks can reinforce each other. Specifically, the multimodal visual and textual features of text reading are fused for information extraction and in turn, the semantics in information extraction contribute to the optimization of text reading. On three real-world datasets with diverse document images (from fixed layout to variable layout, from structured text to semi-structured text), our proposed method significantly outperforms the state-of-the-art methods in both efficiency and accuracy.

研究动机与目标

• 解决文档理解中分离式文本识别与信息抽取流水线的局限性。
• 利用文本识别与信息抽取之间的相互监督，提升两项任务的性能。
• 整合视觉、文本与位置特征，以增强信息抽取性能。
• 通过在文本识别与信息抽取模块间共享特征，减少计算冗余。
• 在包括发票、简历与票据在内的多种文档类型中，实现最先进性能。

提出的方法

• 提出一种端到端深度学习框架 TRIE，联合训练文本识别与信息抽取模块。
• 融合视觉特征（来自图像块）与文本特征（来自 OCR），以丰富信息抽取的输入。
• 通过基于 Transformer 的文本上下文模块，建模文本跨度之间的依赖关系。
• 引入视觉上下文模块，利用空间布局与视觉线索（如字体大小、粗体）提升识别与抽取性能。
• 应用联合损失优化：信息抽取损失监督文本识别，文本识别特征增强 IE 性能。
• 在文本识别与信息抽取之间共享特征，以提升推理效率并减少冗余计算。

Figure 1. Examples of VRDs and example entities to extract. Sensitive information like name and contact information in resumes are pixelated to preserve privacy. Best viewed in color.

实验结果

研究问题

• RQ1 与分离式流水线相比，联合训练文本识别与信息抽取是否能提升性能？
• RQ2 多模态特征（视觉、文本、位置）在信息抽取准确率中的贡献如何？
• RQ3 通过信息抽取的反馈，端到端训练在多大程度上提升了文本识别准确率？
• RQ4 该模型在版式与结构各异的文档类型（如固定版式 vs. 可变版式，结构化 vs. 半结构化）中泛化能力如何？
• RQ5 针对不同文档类型，模型深度（层数/注意力头数）的最优配置是什么？

主要发现

• TRIE 在三个数据集上的信息抽取准确率达到 93.26%，相比最先进方法最高提升 1.56 个百分点。
• 与流水线训练相比，端到端训练使文本识别 F1 分数提升 0.9 分，正确识别了如 '23.3km' 和 '2017-12-21' 等模糊文本。
• 引入视觉上下文后，IE 准确率从纯文本模型的 74.33% 提升至 93.26%，证明了多模态特征的价值。
• TRIE 在简历上达到 1.76 fps 的推理速度，优于流水线基线（1.13–1.69 fps），得益于特征共享与冗余减少。
• 消融实验表明，对于复杂且版式可变的文档（如简历），更深网络（3 层，16 个注意力头）表现最佳，而固定版式文档则可使用更简单模型。
• 视觉上下文特别有助于区分 'Taxi Code' 等实体（如通过粗体或大字体），而文本上下文则有助于解决模糊或序列依赖问题。

Figure 2. Comparison of VRD understanding architectures: (a) IE with plain text, (b) IE with text and position, (c) IE with position and visual features in addition to plain text, (d) our proposed TRIE. The black and red arrows mean the forward and backward processing, respectively. Best viewed in c