[论文解读] Neural Collaborative Graph Machines for Table Structure Recognition

Hao Liu, Xin Li+4 more|arXiv (Cornell University)|Nov 26, 2021

Handwritten Text Recognition Techniques参考文献 44被引用 4

一句话总结

本文提出神经协同图机器（NCGM），一种新颖的图神经网络框架，通过分层建模模态内与模态间交互，提升在多样化且具有挑战性场景下的表格结构识别（TSR）性能。通过堆叠交替进行模态内上下文提取与模态间融合的协同模块，NCGM 在扭曲和复杂表格上显著优于先前方法，实现最先进性能。

ABSTRACT

Recently, table structure recognition has achieved impressive progress with the help of deep graph models. Most of them exploit single visual cues of tabular elements or simply combine visual cues with other modalities via early fusion to reason their graph relationships. However, neither early fusion nor individually reasoning in terms of multiple modalities can be appropriate for all varieties of table structures with great diversity. Instead, different modalities are expected to collaborate with each other in different patterns for different table cases. In the community, the importance of intra-inter modality interactions for table structure reasoning is still unexplored. In this paper, we define it as heterogeneous table structure recognition (Hetero-TSR) problem. With the aim of filling this gap, we present a novel Neural Collaborative Graph Machines (NCGM) equipped with stacked collaborative blocks, which alternatively extracts intra-modality context and models inter-modality interactions in a hierarchical way. It can represent the intra-inter modality relationships of tabular elements more robustly, which significantly improves the recognition performance. We also show that the proposed NCGM can modulate collaborative pattern of different modalities conditioned on the context of intra-modality cues, which is vital for diversified table cases. Experimental results on benchmarks demonstrate our proposed NCGM achieves state-of-the-art performance and beats other contemporary methods by a large margin especially under challenging scenarios.

研究动机与目标

• 为解决在扭曲与复杂性条件下对异质表格结构中模态协作探索不足的问题。
• 提出一种新问题形式化：异质表格结构识别（Hetero-TSR），强调视觉、几何与内容模态之间的动态协作。
• 设计一种深度学习框架，根据模态内上下文自适应调节协作模式，以实现对多样化表格类型的鲁棒性能。
• 克服早期融合与晚期融合策略的局限性，前者过早混合模态信息，后者未能有效整合跨模态交互。
• 实现在移动拍摄、扭曲或复杂表格等真实世界场景中更准确且泛化能力更强的表格结构识别。

提出的方法

• 该方法使用文本片段边界框作为节点，为三种模态——外观、几何与内容——分别构建独立图结构。
• 引入一种基础协同模块，包含用于动态生成模态内上下文的自我上下文提取器（ECE）和用于模态间交互融合与调制的跨模态信息合成器（CCS）。
• ECE 利用多头自注意力机制，基于节点特征与图拓扑结构生成模态特定的上下文表征。
• CCS 采用可学习注意力机制，动态调制并合成跨模态信息，实现上下文感知的协作。
• 多个协同模块以分层方式堆叠，使低层与高层表征在不同模态间逐步交互。
• 框架采用端到端训练，结合对比学习目标，以增强表征质量与泛化能力。

实验结果

研究问题

• RQ1 模态间动态、上下文感知的协作是否能超越早期或晚期融合策略，提升表格结构识别性能？
• RQ2 模态内与模态间交互如何在识别扭曲或复杂表格时提升鲁棒性？
• RQ3 模型能否根据各模态的内在特性与整体表格结构自适应调整协作模式？
• RQ4 模态多样性与交互动态性对识别准确率的影响如何，特别是在具有挑战性的场景中？
• RQ5 所提出的分层协作机制与标准注意力机制或图神经网络相比，在建模表格关系方面表现如何？

主要发现

• NCGM 在基准数据集上实现最先进性能，显著优于现有方法如 GraphTSR、DGCNN、TabStruct-Net 与 FLAG-Net。
• 在更具挑战性的 TUX 与 PubLayNet 数据集上，NCGM 相较基线方法展现出显著优势，尤其在处理扭曲与不规则表格结构方面。
• 模型降低了行与列结构预测的错误率，尤其在存在跨列单元或对齐错误的情况下表现更优。
• 消融实验表明，Ego Context Extractor 与 Cross Context Synthesizer 均对性能至关重要，其中 CCS 对模态间协作增益贡献最大。
• Jensen-Shannon 散度分析显示，CCS 提升了注意力图的多样性，表明其具备更有效且多样的跨模态交互模式。
• 定性结果表明，NCGM 在各类表格类型（包括嵌套与复杂布局）上泛化能力良好，但仍对嵌套表格中的严重错位存在识别困难。