[论文解读] VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations

Peng Zhang, Can Li+5 more|arXiv (Cornell University)|May 13, 2021

Handwritten Text Recognition Techniques参考文献 42被引用 7

一句话总结

VSR 提出了一种统一的深度学习框架用于文档版面分析，通过图神经网络整合视觉、语义（字符级和句子级）以及关系推理。通过采用带有自适应特征融合的双流网络和关系模块来优化组件预测，VSR 在三个基准测试中达到最先进性能，在 PubLayNet 数据集上实现了 92.3% 的 mAP。

ABSTRACT

Document layout analysis is crucial for understanding document structures. On this task, vision and semantics of documents, and relations between layout components contribute to the understanding process. Though many works have been proposed to exploit the above information, they show unsatisfactory results. NLP-based methods model layout analysis as a sequence labeling task and show insufficient capabilities in layout modeling. CV-based methods model layout analysis as a detection or segmentation task, but bear limitations of inefficient modality fusion and lack of relation modeling between layout components. To address the above limitations, we propose a unified framework VSR for document layout analysis, combining vision, semantics and relations. VSR supports both NLP-based and CV-based methods. Specifically, we first introduce vision through document image and semantics through text embedding maps. Then, modality-specific visual and semantic features are extracted using a two-stream network, which are adaptively fused to make full use of complementary information. Finally, given component candidates, a relation module based on graph neural network is incorported to model relations between components and output final results. On three popular benchmarks, VSR outperforms previous models by large margins. Code will be released soon.

研究动机与目标

• 解决现有文档版面分析方法的局限性，这些方法要么忽略模态融合，要么缺乏组件间的关系推理。
• 通过结合文档图像的视觉特征与多粒度语义表示（字符级和句子级），提升版面理解能力。
• 通过带有多尺度自适应聚合模块的双流架构，实现视觉与语义信息的有效、自适应融合。
• 通过基于图神经网络的关系模块建模组件间的结构与语义关系，提升预测准确性。
• 提供一个兼容基于 NLP 的（序列标注）和基于 CV 的（目标检测/分割）方法的统一框架。

提出的方法

• VSR 以文档图像和文本嵌入图（字符级与句子级）作为输入，以捕获视觉与语义信息。
• 双流卷积网络分别独立提取模态特定的视觉与语义特征，以保留任务特定的表示。
• 自适应聚合模块在多尺度上融合视觉与语义特征，学习动态注意力权重以强调互补信息。
• 通过标记序列（NLP 模式）或检测/分割头（CV 模式）生成组件候选。
• 基于图神经网络的关系模块建模组件间的关系（例如，图-图注释、对齐段落），以优化坐标与语义标签。
• 最终输出通过关系推理对预测进行优化，提升一致性和准确性。

实验结果

研究问题

• RQ1 统一框架能否有效结合视觉、语义与关系推理，使文档版面分析性能超越单模态或简单多模态方法？
• RQ2 多粒度语义表示（字符级与句子级）对识别多样化文档组件的影响如何？
• RQ3 与基于拼接的融合相比，视觉与语义之间的自适应特征融合在多大程度上提升了性能？
• RQ4 基于图神经网络的关系建模在减少误检与提升组件间标签一致性方面有多有效？
• RQ5 所提出的框架能否灵活应用于基于 NLP 与基于 CV 的版面分析流程？

主要发现

• VSR 在 PubLayNet 基准测试中达到 92.3% 的 mAP，显著优于先前最先进模型（89.8% mAP），并超越单模态与单流多模态基线。
• 添加关系模块使 VSR 的 mAP 提升 2.2%，Faster R-CNN 的 mAP 提升 5.3%，证明关系推理在优化预测方面的有效性。
• 采用自适应聚合的双流网络达到最高 mAP（92.3%），推理速度为 13.94 FPS，表明具备实时推理能力。
• 同时使用字符级与句子级语义使 mAP 相比仅使用字符级语义提升 20.1%（从 67.1% 提升至 87.3%）。
• 模型减少了重复预测，并提升了坐标与标签的一致性；定性结果表明，关系模块可纠正错误标注与重叠组件。
• 消融实验证实，自适应融合优于输入级或决策级拼接融合，VSR 在自适应融合下达到 92.3% mAP，而输入级融合为 86.2%，决策级融合为 91.4%。