[论文解读] Spatial Dual-Modality Graph Reasoning for Key Information Extraction

Hongbin Sun, Zhanghui Kuang+3 more|arXiv (Cornell University)|Mar 26, 2021

Handwritten Text Recognition Techniques参考文献 36被引用 16

一句话总结

本文提出空间双模态图推理（SDMG-R），一种用于从非结构化文档图像中提取关键信息的端到端方法，通过结合视觉与文本特征及空间关系，将文本区域建模为双模态图。SDMG-R 使用迭代图卷积消息传递来优化节点表征，在 SROIE 和一个更大、更真实的新基准 WildReceipt 上实现最先进性能，包含关键类别分类时，F1 值绝对提升 4.4%。

ABSTRACT

Key information extraction from document images is of paramount importance in office automation. Conventional template matching based approaches fail to generalize well to document images of unseen templates, and are not robust against text recognition errors. In this paper, we propose an end-to-end Spatial Dual-Modality Graph Reasoning method (SDMG-R) to extract key information from unstructured document images. We model document images as dual-modality graphs, nodes of which encode both the visual and textual features of detected text regions, and edges of which represent the spatial relations between neighboring text regions. The key information extraction is solved by iteratively propagating messages along graph edges and reasoning the categories of graph nodes. In order to roundly evaluate our proposed method as well as boost the future research, we release a new dataset named WildReceipt, which is collected and annotated tailored for the evaluation of key information extraction from document images of unseen templates in the wild. It contains 25 key information categories, a total of about 69000 text boxes, and is about 2 times larger than the existing public datasets. Extensive experiments validate that all information including visual features, textual features and spatial relations can benefit key information extraction. It has been shown that SDMG-R can effectively extract key information from document images of unseen templates, and obtain new state-of-the-art results on the recent popular benchmark SROIE and our WildReceipt. Our code and dataset will be publicly released.

研究动机与目标

• 解决基于模板的方法在未见文档版式上泛化能力差且对文本识别错误敏感的局限性。
• 开发一种鲁棒的端到端关键信息提取方法，利用视觉与文本特征及超越行级对齐的空间上下文。
• 构建一个新的大规模基准数据集 WildReceipt，用于评估在真实、非受限图像条件下对未见模板的泛化能力。
• 证明对双模态特征与空间图结构进行联合推理可显著提升提取准确率。

提出的方法

• 将文档图像建模为具有空间关系的双模态图，其中节点代表检测到的文本框，包含视觉（CNN）与文本（RNN）特征。
• 基于相邻文本区域之间的二维空间接近度定义图边，以编码关系上下文。
• 使用带有可学习注意力权重的图卷积网络（GCN），通过边迭代传播并优化节点表征。
• 引入基于克罗内克积的块对角张量分解，以有效融合视觉与文本特征，生成联合表征。
• 在图推理模块中应用多头注意力机制，动态加权消息传递过程中邻近节点的重要性。
• 使用交叉熵损失对关键类别与值类别分类任务进行端到端训练。

实验结果

研究问题

• RQ1 在超越行级上下文的基础上，对视觉、文本与空间关系特征进行联合推理是否能提升关键信息提取性能？
• RQ2 在未见模板上，包含非共线文本区域之间空间关系是否能提升性能？
• RQ3 双模态特征（视觉 + 文本）在多大程度上增强了对识别错误与版式变化的鲁棒性？
• RQ4 图推理迭代次数如何影响模型性能与泛化能力？
• RQ5 像 WildReceipt 这样更精细、更真实的新型数据集，是否能比现有基准更好地评估泛化能力？

主要发现

• SDMG-R 在 WildReceipt 数据集上达到新的最先进 F1 得分 88.7%，显著优于先前方法。
• 移除图推理模块后，WildReceipt 上的 F1 得分绝对下降 11.5%，证明空间消息传递对性能至关重要。
• 引入关键类别分类使值类别分类的 F1 得分提升 4.4% 绝对值，表明其具有辅助增益作用。
• 最优图推理迭代次数为 L=2，当 L>2 时性能下降，归因于过拟合。
• 所提出的双模态融合模块优于 LinearSum 与 ConcatMLP 等替代方案，尤其在最优块大小与块数下表现更优。
• 可视化结果表明，模型学习到了有意义且语义相关的空间注意力权重，即使在远距离也有效，例如将 "Total value" 与 "Total key" 关联起来。