[论文解读] TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers

Zeng-Yuan Guo, Yuechen Yu+7 more|arXiv (Cornell University)|Aug 31, 2022

Handwritten Text Recognition Techniques被引用 10

一句话总结

TRUST 提出了一种端到端的、基于 Transformer 的表格结构识别方法，通过使用基于查询的分割模块和基于顶点的合并模块，将表格解析解耦为多方向分割与顶点引导合并。该方法在 PubTabNet 和 SynthTable 上实现了最先进性能，PubTabNet 上结构 TEDS 达 97.1%，TEDs 达 96.2%，同时推理速度达到 10 FPS，显著快于以往方法。

ABSTRACT

Table structure recognition is a crucial part of document image analysis domain. Its difficulty lies in the need to parse the physical coordinates and logical indices of each cell at the same time. However, the existing methods are difficult to achieve both these goals, especially when the table splitting lines are blurred or tilted. In this paper, we propose an accurate and end-to-end transformer-based table structure recognition method, referred to as TRUST. Transformers are suitable for table structure recognition because of their global computations, perfect memory, and parallel computation. By introducing novel Transformer-based Query-based Splitting Module and Vertex-based Merging Module, the table structure recognition problem is decoupled into two joint optimization sub-tasks: multi-oriented table row/column splitting and table grid merging. The Query-based Splitting Module learns strong context information from long dependencies via Transformer networks, accurately predicts the multi-oriented table row/column separators, and obtains the basic grids of the table accordingly. The Vertex-based Merging Module is capable of aggregating local contextual information between adjacent basic grids, providing the ability to merge basic girds that belong to the same spanning cell accurately. We conduct experiments on several popular benchmarks including PubTabNet and SynthTable, our method achieves new state-of-the-art results. In particular, TRUST runs at 10 FPS on PubTabNet, surpassing the previous methods by a large margin.

研究动机与目标

• 为解决在旋转、透视畸变、无边框或空单元格等复杂场景下准确识别表格结构的挑战。
• 克服现有基于组件和基于序列的方法在边界模糊、泛化能力差或单元格回归不准确方面的局限性。
• 设计一种端到端框架，联合优化行/列分割与网格合并，以提升结构准确性。
• 在保持高精度的同时实现高速推理，尤其适用于真实世界文档图像场景。

提出的方法

• 使用带有 FPN 的卷积主干网络进行特征提取，随后采用基于 Transformer 的编码器-解码器架构。
• 引入基于查询的分割模块，通过角度分类和起点回归，利用自注意力与交叉注意力机制预测多方向的行与列分隔线。
• 采用基于顶点的合并模块，计算预测分隔线交点（顶点）处的特征，并利用自注意力机制预测四个方向的合并决策。
• 在合并模块中引入行与列特征之间的跨特征增强，以提升上下文建模能力与合并准确性。
• 端到端训练整个模型，实现分割与合并任务的联合优化。
• 利用多头自注意力与交叉注意力机制，建模视觉与结构特征之间的长距离依赖关系。

实验结果

研究问题

• RQ1 统一的、端到端的基于 Transformer 的框架是否能在准确率与速度上超越现有基于分割的方法？
• RQ2 与以往分割模型相比，基于查询的分割模块在处理多方向、模糊或倾斜的表格分隔线时效果如何？
• RQ3 与启发式或独立合并模型相比，基于顶点的合并模块在处理跨单元格与空单元格时，对合并准确率的提升程度如何？
• RQ4 在具有透视畸变或缺线的复杂表格上，合并模块中的跨特征增强是否显著提升性能？
• RQ5 所提出的方法是否能在 PubTabNet 与 SynthTable 等挑战性基准上保持高准确率的同时实现实时推理（10 FPS）？

主要发现

• TRUST 在 PubTabNet 上达到 97.1% 的结构 TEDS 与 96.2% 的 TEDs，显著优于以往最先进方法。
• 与 SPLERGE 分割模型相比，基于查询的分割模块在结构 TEDS 上提升 2.3%，在 TEDs 上提升 2.8%，主要得益于更优的长距离上下文建模能力。
• 若将基于顶点的合并模块替换为启发式后处理，性能将下降至 88.3% 的结构 TEDS 与 85.4% 的 TEDs，证明其在准确合并中的关键作用。
• 若在合并模块中移除跨特征增强，结构 TEDS 从 97.1% 下降至 90.6%，表明其对性能提升具有重要意义。
• TRUST 在 PubTabNet 上推理速度达 10 FPS，是目前最快的表格结构识别方法，显著超过 SEM（1.94 FPS）与 EDD（1 FPS）。
• 在 SynthTable 数据集上，TRUST 在最具挑战性的类别 C4（旋转与透视变换表格）上达到 92.4% 的 TEDs，显著优于 EDD 与 SPLERGE。