[论文解读] StrucTexT: Structured Text Understanding with Multi-Modal Transformers

Yulin Li, Yuxi Qian+8 more|arXiv (Cornell University)|Aug 6, 2021

Multimodal Machine Learning Applications参考文献 51被引用 6

一句话总结

StrucTexT 提出了一种统一的多模态 Transformer 框架，用于视觉丰富文档中的结构化文本理解，通过一种分段-标记对齐编码器，并结合三种自监督预训练任务，整合视觉、文本和布局特征。该方法在 FUNSD、SROIE 和 EPHOIE 上实现了最先进性能，通过有效融合跨标记和分段级别的多粒度表示。

ABSTRACT

Structured text understanding on Visually Rich Documents (VRDs) is a crucial part of Document Intelligence. Due to the complexity of content and layout in VRDs, structured text understanding has been a challenging task. Most existing studies decoupled this problem into two sub-tasks: entity labeling and entity linking, which require an entire understanding of the context of documents at both token and segment levels. However, little work has been concerned with the solutions that efficiently extract the structured data from different levels. This paper proposes a unified framework named StrucTexT, which is flexible and effective for handling both sub-tasks. Specifically, based on the transformer, we introduce a segment-token aligned encoder to deal with the entity labeling and entity linking tasks at different levels of granularity. Moreover, we design a novel pre-training strategy with three self-supervised tasks to learn a richer representation. StrucTexT uses the existing Masked Visual Language Modeling task and the new Sentence Length Prediction and Paired Boxes Direction tasks to incorporate the multi-modal information across text, image, and layout. We evaluate our method for structured text understanding at segment-level and token-level and show it outperforms the state-of-the-art counterparts with significantly superior performance on the FUNSD, SROIE, and EPHOIE datasets.

研究动机与目标

• 解决视觉丰富文档（VRDs）中结构化文本理解的挑战，这些文档结合了复杂布局、文本和视觉元素。
• 克服现有方法将实体标注与链接解耦为独立任务的局限，这些方法通常仅关注标记级别或分段级别分析。
• 开发一种统一框架，能够联合建模标记级别与分段级别的实体抽取，并利用丰富的多模态表示。
• 通过一种新颖的预训练策略，整合视觉、文本和布局模态，以改善跨模态对齐，提升表征学习。
• 实现多粒度特征（字符、单词、行、区域）的有效融合，以增强实体标注与实体链接的性能。

提出的方法

• 提出一种分段-标记对齐编码器，利用共享的多头注意力机制，联合建模在标记和分段两个层级上的实体标注。
• 引入三种自监督预训练任务：掩码视觉语言建模（MVLM）、句子长度预测（SLP）和成对框方向（PBD），以增强多模态表征学习。
• 利用 OCR 提取的文本、边界框坐标以及视觉编码器生成的视觉特征，构建统一的多模态输入表征。
• 使用联合损失函数，端到端地联合训练模型完成实体标注（IOB 标注）和实体链接（关系预测）任务。
• 通过在字符级别标记和行级别分段上同时进行监督，实现多粒度监督，注意力机制可同时关注两个层级。
• 采用多模态融合机制，将视觉特征（图像块）、文本嵌入（基于 BERT）和布局嵌入（相对边界框坐标）在共享的 Transformer 空间中对齐。

实验结果

研究问题

• RQ1 统一框架能否有效处理视觉丰富文档中的标记级别与分段级别结构化文本理解？
• RQ2 视觉、文本和布局模态的不同组合如何影响文档理解任务的性能？
• RQ3 新颖的自监督预训练任务——尤其是句子长度预测和成对框方向——在多模态表征学习中的提升作用有多大？
• RQ4 与单一粒度方法相比，多粒度特征融合（标记 vs. 分段）是否能带来更好的实体标注与链接性能？
• RQ5 结构化文本理解中的主要失败模式是什么？通过改进关键-值关系与布局上下文建模，能否有效缓解这些问题？

主要发现

• 在 FUNSD 上，StrucTexT 在使用 MVLM+PBD+SLP 预训练时达到 83.09 的 F1 分数，优于先前方法，实现最先进性能。
• 在 SROIE 上，StrucTexT 在完整预训练设置下达到 96.88 的 F1 分数，表明在实体标注与链接任务中均表现卓越。
• 消融实验表明，结合全部三项预训练任务（MVLM、SLP、PBD）性能最佳，在 FUNSD 上相比仅使用 MVLM 提升 3%，在 SROIE 上提升 0.2%。
• 视觉与语言特征具有互补性：在 FUNSD 上，结合两者使 F1 提升超过 5%；在 SROIE 上提升超过 5.5%，相比仅使用单一模态。
• 分段级别表征学习优于标记级别学习：FUNSD 上分段级别 F1 为 83.09，标记级别为 81.59，表明行级别上下文具有重要价值。
• 错误分析揭示了在区分数值相近的实体（如学号）和模糊语义关系方面存在挑战，提示在关键-值对建模方面仍有改进空间。