[论文解读] Table Structure Recognition with Conditional Attention

Bin Xiao, Murat Şimşek+2 more|arXiv (Cornell University)|Mar 8, 2022

Text and Document Classification Technologies被引用 9

一句话总结

本文提出CATT-Net，一种用于表格结构识别的条件注意力网络，将该任务表述为基于视觉特征的单元格关联分类问题，避免依赖基于坐标的特征。该方法实现了最先进性能，在ICDAR2013数据集上使用对齐边界框时，Micro-F1达到0.963，并引入了一个新的带注释基准数据集，包含对齐和文本聚焦的边界框，以供未来研究使用。

ABSTRACT

Tabular data in digital documents is widely used to express compact and important information for readers. However, it is challenging to parse tables from unstructured digital documents, such as PDFs and images, into machine-readable format because of the complexity of table structures and the missing of meta-information. Table Structure Recognition (TSR) problem aims to recognize the structure of a table and transform the unstructured tables into a structured and machine-readable format so that the tabular data can be further analysed by the down-stream tasks, such as semantic modeling and information retrieval. In this study, we hypothesize that a complicated table structure can be represented by a graph whose vertices and edges represent the cells and association between cells, respectively. Then we define the table structure recognition problem as a cell association classification problem and propose a conditional attention network (CATT-Net). The experimental results demonstrate the superiority of our proposed method over the state-of-the-art methods on various datasets. Besides, we investigate whether the alignment of a cell bounding box or a text-focused approach has more impact on the model performance. Due to the lack of public dataset annotations based on these two approaches, we further annotate the ICDAR2013 dataset providing both types of bounding boxes, which can be a new benchmark dataset for evaluating the methods in this field. Experimental results show that the alignment of a cell bounding box can help improve the Micro-averaged F1 score from 0.915 to 0.963, and the Macro-average F1 score from 0.787 to 0.923.

研究动机与目标

• 为解决在无结构文档图像中识别复杂表格结构时，不依赖位置敏感特征的挑战。
• 通过使用视觉特征而非基于坐标的输入，提升跨领域设置下的泛化能力。
• 研究两种类型的单元格边界框注释——对齐型与文本聚焦型——对模型性能的影响。
• 为未来在表格结构识别领域的评估，提供一个新的带注释基准数据集（ICDAR2013，含双类边界框类型）。

提出的方法

• 将表格结构识别表述为单元格关联分类问题，将每对单元格视为垂直、水平或无连接的候选。
• 引入一种条件注意力机制，利用一对中的两个单元格作为通道和空间注意力的条件，增强特征区分能力。
• 采用自下而上的方法，仅依赖于单元格图像的视觉特征，避免对边界框坐标或分辨率的依赖。
• 使用基于图的表示方法，其中单元格为顶点，关联为边，模型预测单元格对之间的边类型。
• 应用后处理技术（如边界框合并），以减少先前检测步骤带来的误差。
• 在公开数据集上端到端训练模型，利用注意力机制学习单元格之间的上下文关系。

实验结果

研究问题

• RQ1 条件注意力的使用在多大程度上提升了表格结构识别中单元格关联预测的性能？
• RQ2 对齐型边界框与文本聚焦型边界框对模型性能的相对影响是什么？
• RQ3 仅基于视觉特征的自下而上方法是否比依赖坐标的模型在跨领域设置下具有更好的泛化能力？
• RQ4 边界框注释类型的选择在多大程度上影响了表格结构识别的最终F1分数？
• RQ5 包含双类边界框注释的新基准数据集在多大程度上能提升该领域的可复现性与评估质量？

主要发现

• 在ICDAR2013数据集上，使用对齐边界框时，CATT-Net实现了0.963的Micro-F1分数，显著优于之前最先进方法（0.930）。
• 当从文本聚焦型边界框改为对齐型边界框时，模型的Macro-F1从0.787提升至0.923。
• 条件注意力机制通过同时基于一对中的两个单元格进行条件控制，增强了特征学习，从而带来更准确的关联预测。
• 与文本聚焦型边界框相比，对齐型边界框显著提升了性能，使Micro-F1提高0.048，Macro-F1提高0.136。
• 由于该方法依赖于视觉特征而非基于坐标的输入，因此在跨领域设置下表现出良好的泛化能力。
• 为ICDAR2013数据集新增的对齐型与文本聚焦型边界框双重注释，为未来研究提供了宝贵的基准数据集。