[论文解读] Rethinking Table Parsing using Graph Neural Networks

Shah Rukh Qasim, Hassan Mahmood+1 more|arXiv (Cornell University)|May 31, 2019

Handwritten Text Recognition Techniques被引用 12

一句话总结

本文提出了一种基于图神经网络（GNN）的表格解析架构，结合卷积神经网络（CNN）进行视觉特征提取与GNN以建模表格中的结构关系。该方法显著优于基线模型，并提出一个大规模合成数据集以解决文档结构分析中的数据稀缺问题。

ABSTRACT

Document structure analysis, such as zone segmentation and table parsing, is a complex problem in document processing and is an active area of research. The recent success of deep learning in solving various computer vision and machine learning problems has not been reflected in document structure analysis since conventional neural networks are not well suited to the input structure of the problem. In this paper, we propose an architecture based on graph networks as a better alternative to standard neural networks for table parsing. We argue that graph networks are a more natural choice for these problems, and explore two gradient-based graph neural networks. Our proposed architecture combines the benefits of convolutional neural networks for visual feature extraction and graph networks for dealing with the problem structure. We empirically demonstrate that our method outperforms the baseline by a significant margin. In addition, we identify the lack of large scale datasets as a major hindrance for deep learning research for structure analysis, and present a new large scale synthetic dataset for the problem of table parsing. Finally, we open-source our implementation of dataset generation and the training framework of our graph networks to promote reproducible research in this direction.

研究动机与目标

• 解决传统神经网络在建模文档表格结构复杂性方面的局限性。
• 提出一种图神经网络架构，以更好地捕捉表格结构中的关系依赖。
• 通过整合CNN提取的视觉特征与GNN实现的结构推理，提升表格解析性能。
• 通过创建新的合成数据集，克服文档结构分析中大规模标注数据集的缺乏问题。
• 通过开源数据集生成管道与训练框架，支持可复现研究。

提出的方法

• 该方法使用图神经网络来建模表格单元格之间的结构关系，将每个单元格视为图中的一个节点。
• 通过卷积神经网络（CNN）从表格图像中提取视觉特征，并将其用作图中的节点特征。
• GNN通过多层处理图结构，基于邻域信息通过可学习的消息传递机制更新节点表示。
• 探索了两种基于梯度的GNN变体，以优化图结构学习与预测性能。
• 该架构采用端到端方式训练，以预测表格中的单元格边界与内容分割。
• 使用基于规则的表格渲染方法，生成具有多样化布局与结构的大规模合成数据集，以模拟现实世界中的复杂性。

实验结果

研究问题

• RQ1 与传统神经网络相比，图神经网络是否能有效建模表格解析中的结构关系？
• RQ2 结合基于CNN的视觉特征提取与基于GNN的结构推理，如何提升解析准确性？
• RQ3 大规模合成数据集的可用性在多大程度上提升了表格解析中的模型性能？
• RQ4 所提出的GNN架构能否在多样化表格布局与结构上实现良好泛化？
• RQ5 该方法对下游文档结构分析任务有何影响？

主要发现

• 所提出的基于GNN的方法在表格解析准确率上显著优于基线模型。
• 将CNN用于视觉特征提取与GNN用于结构推理的结合，提升了模型的泛化能力与鲁棒性。
• 大规模合成数据集支持了更优的训练与评估，缓解了该领域中的数据稀缺问题。
• 开源的数据集生成与训练框架支持了研究的可复现性，并推动了文档结构分析领域的进一步研究。
• 实证结果表明，与标准神经网络相比，GNN是建模表格结构的更自然且更有效选择。
• 即使在真实世界标注数据有限的情况下，该方法仍表现出色，凸显了合成数据在该领域的重要价值。