[论文解读] Table Structure Recognition using Top-Down and Bottom-Up Cues

Sachin Raja, Ajoy Mondal+1 more|arXiv (Cornell University)|Oct 9, 2020

Handwritten Text Recognition Techniques参考文献 54被引用 9

一句话总结

该论文提出TabStruct-Net，一种端到端深度学习框架，结合自顶向下的单元格检测与自底向上的结构关联，无需依赖OCR或PDF元特征即可识别文档图像中的表格结构。通过集成对齐感知损失函数和基于图的单元格关联方法，该模型在多个基准数据集上实现了最先进性能，为复杂版面中的视觉表格结构识别设立了新标准。

ABSTRACT

Tables are information-rich structured objects in document images. While significant work has been done in localizing tables as graphic objects in document images, only limited attempts exist on table structure recognition. Most existing literature on structure recognition depends on extraction of meta-features from the PDF document or on the optical character recognition (OCR) models to extract low-level layout features from the image. However, these methods fail to generalize well because of the absence of meta-features or errors made by the OCR when there is a significant variance in table layouts and text organization. In our work, we focus on tables that have complex structures, dense content, and varying layouts with no dependency on meta-features and/or OCR. We present an approach for table structure recognition that combines cell detection and interaction modules to localize the cells and predict their row and column associations with other detected cells. We incorporate structural constraints as additional differential components to the loss function for cell detection. We empirically validate our method on the publicly available real-world datasets - ICDAR-2013, ICDAR-2019 (cTDaR) archival, UNLV, SciTSR, SciTSR-COMP, TableBank, and PubTabNet. Our attempt opens up a new direction for table structure recognition by combining top-down (table cells detection) and bottom-up (structure recognition) cues in visually understanding the tables.

研究动机与目标

• 解决在扫描文档图像中识别复杂且视觉多变的表格结构的挑战，且不依赖OCR或PDF元特征。
• 通过建模单元格对齐、边框和空间关系等视觉线索，提升表格结构识别的泛化能力。
• 开发一种端到端可训练的架构，联合优化单元格检测与结构关联。
• 实现对具有多行/多列合并单元格、密集内容及不一致划线的表格的鲁棒识别。
• 通过融合自顶向下的检测与自底向上的结构推理，建立表格结构识别的新范式。

提出的方法

• 采用Mask R-CNN的自顶向下方法检测文档图像中的表格单元格，随后进行自底向上的表格结构重建。
• 提出一种新型对齐损失函数，通过强制相邻单元格之间的空间对齐约束来正则化单元格检测。
• 利用FPN的P2层特征图与LSTM，沿每个检测单元格的中心水平线和中心垂直线建模视觉特征。
• 采用基于图的公式化方法，利用邻接矩阵建模检测单元格之间的行与列关联。
• 通过多任务学习联合优化检测与结构识别，实现TabStruct-Net的端到端训练。
• 在FPN中融合自顶向下与自底向上路径，以增强检测与结构推理的特征表示能力。

实验结果

研究问题

• RQ1 深度学习模型是否能够在不依赖OCR或PDF元特征的情况下识别复杂表格结构？
• RQ2 自顶向下的单元格检测与自底向上的结构关联的融合在表格结构识别中有多高效？
• RQ3 对齐感知损失函数在多大程度上提升了单元格检测与后续结构识别的性能？
• RQ4 使用FPN中间层特征与LSTM对复杂表格布局的性能有何影响？
• RQ5 检测与结构关联的端到端联合训练对整体F1分数的提升贡献如何？

主要发现

• 在ICDAR-2019（cTDaR）归档数据集上，TabStruct-Net在完整配置（Mask R-CNN + td+bu+al + dgcnn + P2 + LSTM）下实现了0.966的F1分数，优于先前方法。
• 在UNLV-partial数据集上，该模型在结构识别任务中取得了0.920的F1分数，表明其在复杂真实世界表格上的强大泛化能力。
• 在SciTSR数据集上，该模型在结构识别任务中达到0.935的F1分数，表明其在多样化表格布局与内容密度下具有鲁棒性。
• 消融实验表明，引入对齐损失（AL）以及使用P2层特征与LSTM显著提升了检测与结构识别性能。
• 在FPN中集成自顶向下与自底向上路径（td+bu）在所有数据集上均带来了0.5–1.5%的F1分数稳定提升。
• 该模型在所有评估基准（包括ICDAR-2013、ICDAR-2019、UNLV、SciTSR和TableBank）上均达到最先进性能，验证了其卓越的泛化能力。