[论文解读] Towards Robust Visual Information Extraction in Real World: New Dataset and Novel Solution

Jia-Peng Wang, Chongyu Liu+7 more|arXiv (Cornell University)|Jan 24, 2021

Handwritten Text Recognition Techniques被引用 9

一句话总结

本文提出 VIES，一种统一的端到端框架，用于同时进行文本检测、识别和信息抽取，通过视觉与语义协调机制实现联合优化。该研究引入 EPHOIE，首个完全标注的中文基准数据集，涵盖文本定位与视觉信息抽取任务，在 SROIE 数据集上，端到端设置下 F-score 提升 9.01%。

ABSTRACT

Visual information extraction (VIE) has attracted considerable attention recently owing to its various advanced applications such as document understanding, automatic marking and intelligent education. Most existing works decoupled this problem into several independent sub-tasks of text spotting (text detection and recognition) and information extraction, which completely ignored the high correlation among them during optimization. In this paper, we propose a robust visual information extraction system (VIES) towards real-world scenarios, which is a unified end-to-end trainable framework for simultaneous text detection, recognition and information extraction by taking a single document image as input and outputting the structured information. Specifically, the information extraction branch collects abundant visual and semantic representations from text spotting for multimodal feature fusion and conversely, provides higher-level semantic clues to contribute to the optimization of text spotting. Moreover, regarding the shortage of public benchmarks, we construct a fully-annotated dataset called EPHOIE (https://github.com/HCIILAB/EPHOIE), which is the first Chinese benchmark for both text spotting and visual information extraction. EPHOIE consists of 1,494 images of examination paper head with complex layouts and background, including a total of 15,771 Chinese handwritten or printed text instances. Compared with the state-of-the-art methods, our VIES shows significant superior performance on the EPHOIE dataset and achieves a 9.01% F-score gain on the widely used SROIE dataset under the end-to-end scenario.

研究动机与目标

• 为解决现实世界中视觉信息抽取（VIE）里文本定位与信息抽取分离所带来的局限性。
• 通过联合优化文本检测、识别与实体抽取，减少错误传播与冗余计算。
• 构建一个鲁棒的、可端到端训练的框架，充分利用视觉、语义与空间布局的多模态特征。
• 为具有复杂版式与手写文本的中文文档理解建立新基准。
• 在具有噪声背景与任意文本方向的现实场景中提升性能。

提出的方法

• 提出统一的端到端框架 VIES，联合优化文本检测、识别与信息抽取。
• 引入视觉协调机制（VCM），聚合文本定位任务的视觉特征以支持信息抽取。
• 引入语义协调机制（SCM），将高层语义线索反馈至文本定位任务，以提升检测与识别性能。
• 设计自适应特征融合模块（AFFM），在片段与标记两个层级上融合视觉、语义与位置特征，获得更丰富的表征。
• 构建 EPHOIE 数据集，包含 1,494 张真实考试卷首页图像与 15,771 个标注的中文文本实例，涵盖复杂版式中的手写与印刷体汉字。
• 采用轻量化网络结构并辅以简单正则化策略，用于校正输出格式，避免使用复杂的模型集成或后处理。

实验结果

研究问题

• RQ1 联合优化文本检测、识别与信息抽取是否能提升现实世界文档理解的鲁棒性？
• RQ2 来自视觉、语义与空间布局的多模态特征融合在多大程度上提升端到端 VIE 性能？
• RQ3 与级联式流水线相比，统一框架在多大程度上减少了错误累积？
• RQ4 所提出的 EPHOIE 数据集在评估复杂现实中文文档上的 VIE 系统时是否有效？
• RQ5 在真实标注与端到端两种设置下，所提方法是否均优于当前最先进模型？

主要发现

• 在广泛使用的 SROIE 数据集上，VIES 在端到端设置下相比之前最先进方法，F-score 提升 9.01%。
• 在 EPHOIE 数据集上，VIES 实现 95.23% 的 F1 分数，显著优于先前方法如 TRIE（83.81%）与 Lample 等人（83.81%），且在端到端条件下表现更优。
• 由于通过联合优化实现有效的错误缓解，该方法在 OCR 错误频发的端到端场景中展现出卓越的鲁棒性。
• 所提出的 EPHOIE 数据集是首个完全标注的中文文本定位与 VIE 基准，包含具有复杂版式与手写文本的真实考试卷首页。
• VIES 在 EPHOIE 与 SROIE 上均优于所有基线模型，证明其在多种文档类型与标注方案下均具有一致的有效性。
• 在真实标注设置下，该框架也取得了具有竞争力的结果，并超越了使用模型集成与复杂后处理的竞赛优胜方法。