[论文解读] TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents

Zhanzhan Cheng, Peng Zhang+7 more|arXiv (Cornell University)|Jul 14, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

本文提出 TRIE++：一种统一的端到端框架，用于视觉丰富文档（VRD）信息抽取，通过多模态上下文模块联合优化文本识别与信息抽取。通过融合视觉、文本和布局特征——以及预训练语言模型的知识——该方法在多种文档类型和布局下均达到最先进性能，显著优于以往的两阶段方法。

ABSTRACT

Recently, automatically extracting information from visually rich documents (e.g., tickets and resumes) has become a hot and vital research topic due to its widespread commercial value. Most existing methods divide this task into two subparts: the text reading part for obtaining the plain text from the original document images and the information extraction part for extracting key contents. These methods mainly focus on improving the second, while neglecting that the two parts are highly correlated. This paper proposes a unified end-to-end information extraction framework from visually rich documents, where text reading and information extraction can reinforce each other via a well-designed multi-modal context block. Specifically, the text reading part provides multi-modal features like visual, textual and layout features. The multi-modal context block is developed to fuse the generated multi-modal features and even the prior knowledge from the pre-trained language model for better semantic representation. The information extraction part is responsible for generating key contents with the fused context features. The framework can be trained in an end-to-end trainable manner, achieving global optimization. What is more, we define and group visually rich documents into four categories across two dimensions, the layout and text type. For each document category, we provide or recommend the corresponding benchmarks, experimental settings and strong baselines for remedying the problem that this research area lacks the uniform evaluation standard. Extensive experiments on four kinds of benchmarks (from fixed layout to variable layout, from full-structured text to semi-unstructured text) are reported, demonstrating the proposed method's effectiveness. Data, source code and models are available.

研究动机与目标

• 解决现有两阶段 VRD 系统将文本识别与信息抽取视为独立、非交互任务的局限性。
• 通过沿布局和文本类型维度对 VRD 进行定义与分组，克服视觉丰富文档缺乏统一评估标准的问题。
• 开发一种统一的、可端到端训练的框架，使文本识别与信息抽取之间实现相互监督，以实现全局优化。
• 为四类文档类别（固定/可变布局，结构化/半结构化文本）提供标准化基准和强基线，以促进可复现的研究。
• 通过训练领域特定的端到端系统，减少对现成 OCR 引擎的依赖，提升在真实世界文档变化中的鲁棒性。

提出的方法

• 通过多模态上下文模块融合视觉、文本和布局特征，将文本识别与信息抽取整合到单一端到端框架中。
• 从文档图像中提取多模态特征：通过 CNN 或 ViT 提取视觉特征，通过基于 Transformer 的编码器提取文本特征，通过边界框坐标提取布局特征。
• 将预训练语言模型知识注入多模态上下文模块，以增强语义表征和上下文理解能力。
• 通过允许信息抽取损失监督文本识别模块，反之亦然，实现端到端反向传播，支持相互优化。
• 使用共享编码器架构处理文档特征，并通过基于跨度的头预测生成实体预测。
• 通过联合优化策略端到端训练整个系统，同时利用检测与标注的监督信号。

实验结果

研究问题

• RQ1 通过多模态特征融合联合优化文本识别与信息抽取，是否能提升视觉丰富文档上的性能？
• RQ2 视觉、文本和布局特征的融合——以及预训练语言模型知识的引入——在文档理解中如何增强语义表征？
• RQ3 与两阶段流水线相比，端到端训练在多大程度上减少了错误传播，并提升了对真实世界文档变化的鲁棒性？
• RQ4 不同文档类别（基于布局和文本类型）对端到端信息抽取系统的性能有何影响？
• RQ5 统一的基准框架与标准化评估协议在多大程度上能提升 VRD 研究的可复现性与进展？

主要发现

• TRIE++ 在四个基准类别中均达到最先进性能，涵盖固定与可变布局的文档，以及结构化与半结构化文本。
• 端到端训练策略显著提升了文本识别与信息抽取的性能，其中在第二、三、四类中，文本识别模块成为主要瓶颈。
• 多模态上下文模块有效融合了视觉、文本和布局特征，显著提升了实体识别性能，尤其在复杂布局和长文本序列中表现更优。
• 该方法通过文本识别与信息抽取之间的相互监督，优于以往的两阶段方法，有效减少了错误累积。
• 大量消融实验表明，预训练语言模型知识与布局感知特征的整合对性能提升具有显著贡献。
• 所提出的基准与强基线提供了一个标准化评估平台，解决了 VRD 研究中缺乏统一评估标准的问题。