[论文解读] Spatial Dependency Parsing for Semi-Structured Document Information Extraction

Wonseok Hwang, Jinyeong Yim+3 more|arXiv (Cornell University)|May 1, 2020

Handwritten Text Recognition Techniques参考文献 34被引用 16

一句话总结

本文提出 SPADE$\varspadesuit$，一种用于半结构化文档信息抽取的端到端空间依赖解析框架，该框架在无需对文本标记进行序列化的情况下，同时建模语言关系与二维空间关系。该方法在收据、发票、名片和表格等数据集上达到或超越当前最先进性能，在复杂布局上较 BERT 基础的 IOB 标注模型提升最高达 +1.9 F1，在 FUNSD 基准的实体标注任务上提升 +11.5 F1。

ABSTRACT

Information Extraction (IE) for semi-structured document images is often approached as a sequence tagging problem by classifying each recognized input token into one of the IOB (Inside, Outside, and Beginning) categories. However, such problem setup has two inherent limitations that (1) it cannot easily handle complex spatial relationships and (2) it is not suitable for highly structured information, which are nevertheless frequently observed in real-world document images. To tackle these issues, we first formulate the IE task as spatial dependency parsing problem that focuses on the relationship among text tokens in the documents. Under this setup, we then propose SPADE (SPAtial DEpendency parser) that models highly complex spatial relationships and an arbitrary number of information layers in the documents in an end-to-end manner. We evaluate it on various kinds of documents such as receipts, name cards, forms, and invoices, and show that it achieves a similar or better performance compared to strong baselines including BERT-based IOB taggger.

研究动机与目标

• 为解决序列标注在半结构化文档信息抽取中的局限性，特别是难以建模复杂空间布局与层次化信息的问题。
• 消除对 OCR 提取标记的手动或启发式序列化的依赖，避免在多栏或非规则文档中扭曲空间关系。
• 开发一种端到端、无需序列化的模型，联合学习语言与空间依赖关系，实现结构化信息抽取。
• 在多种真实世界文档类型（包括收据、发票、名片和表格）上评估模型，涵盖不同结构复杂度。
• 证明显式建模空间关系可显著提升在层次化与复杂布局文档上的性能表现。

提出的方法

• 将文档信息抽取建模为一种空间依赖解析问题，其中每个文本标记作为有向图中的节点，边表示语言关系与空间关系。
• 设计一种空间感知的自注意力机制，将标记的相对 2D 坐标 (x, y) 纳入注意力计算，使模型能直接学习空间依赖关系。
• 采用基于图的解码策略以预测最终的依赖结构，支持任意层次化与多层信息分组。
• 通过结合 IOB 式标注与图结构预测进行端到端训练，并利用随机标记重排与旋转进行数据增强，以提升模型鲁棒性。
• 采用基于 BERT 的主干网络进行上下文编码，并引入相对空间位置嵌入，以同时捕捉语义与空间上下文信息。
• 将解析任务分解为两类关系：rel-s（序列化与字段分类）与 rel-g（字段间的组间关系），以支持结构化输出生成。

实验结果

研究问题

• RQ1 在 2D 布局中显式建模文本标记之间的空间关系，是否能提升复杂半结构化文档的信息抽取性能？
• RQ2 无需序列化、端到端的空间依赖解析方法，是否在具有层次结构或多栏布局的文档上优于基于序列的 IOB 标注方法？
• RQ3 在自注意力层中引入相对空间坐标，对模型性能及对布局变化的鲁棒性有何影响？
• RQ4 所提出的框架是否能在无需架构修改的情况下，泛化到收据、发票、名片和表格等多种文档类型？
• RQ5 涉及标记重排与旋转的数据增强，在空间依赖解析中在多大程度上提升了泛化能力？

主要发现

• 与强基线 BERT 基础 IOB 标注器相比，SPADE$\\varspadesuit$ 在发票数据集上实现 +1.9 F1 的提升，证明其在复杂、层次化布局上的优越性能。
• 在 FUNSD 表单理解基准中，SPADE$\\varspadesuit$ 在实体链接（ELK）任务上实现 37.3% 的绝对 F1 提升，且在实体标注（ELB）任务上较 BERT-Base 标注器基线提升 +11.5 F1。
• 在数据增强（如标记重排或文档旋转）下，模型性能保持稳定，ELB-R 仅下降 1.1 F1，ELB-S 反而提升 0.4 F1，证明其对布局扰动具有鲁棒性。
• 消融实验表明，若移除相对空间坐标，F1 值将下降 74.0，凸显空间归纳偏置在模型性能中的关键作用。
• 该模型在所有评估数据集（包括收据、名片、表格与发票）上均达到最先进性能，且无需布局预训练或外部数据。
• 使用相对坐标而非绝对坐标使性能提升 6.9 F1，数据增强带来 2.6 F1 的增益，证实二者在训练稳定性和泛化能力中的关键作用。