[论文解读] PP-StructureV2: A Stronger Document Analysis System

Chenxia Li, Ruoyu Guo+7 more|arXiv (Cornell University)|Oct 11, 2022

Handwritten Text Recognition Techniques被引用 13

一句话总结

PP-StructureV2 是一种增强的文档分析系统，通过优化模型和引入新模块，提升了布局分析、表格识别和关键信息提取的性能。该系统在保持相当 mAP 水平的同时，实现 11 倍的推理加速，表格识别准确率提高 6%，关系抽取性能提升 9.1%，得益于轻量化设计、知识蒸馏以及一种与视觉特征无关的 LayoutXLM 变体。

ABSTRACT

A large amount of document data exists in unstructured form such as raw images without any text information. Designing a practical document image analysis system is a meaningful but challenging task. In previous work, we proposed an intelligent document analysis system PP-Structure. In order to further upgrade the function and performance of PP-Structure, we propose PP-StructureV2 in this work, which contains two subsystems: Layout Information Extraction and Key Information Extraction. Firstly, we integrate Image Direction Correction module and Layout Restoration module to enhance the functionality of the system. Secondly, 8 practical strategies are utilized in PP-StructureV2 for better performance. For Layout Analysis model, we introduce ultra light-weight detector PP-PicoDet and knowledge distillation algorithm FGD for model lightweighting, which increased the inference speed by 11 times with comparable mAP. For Table Recognition model, we utilize PP-LCNet, CSP-PAN and SLAHead to optimize the backbone module, feature fusion module and decoding module, respectively, which improved the table structure accuracy by 6\% with comparable inference speed. For Key Information Extraction model, we introduce VI-LayoutXLM which is a visual-feature independent LayoutXLM architecture, TB-YX sorting algorithm and U-DML knowledge distillation algorithm, which brought 2.8\% and 9.1\% improvement respectively on the Hmean of Semantic Entity Recognition and Relation Extraction tasks. All the above mentioned models and code are open-sourced in the GitHub repository PaddleOCR.

研究动机与目标

• 开发一种更鲁棒且高效的文档分析系统，支持在 CPU 和移动设备上实际部署。
• 解决 PP-Structure 的局限性，如 CPU 效率低下以及对旋转或复杂布局文档的功能有限。
• 在不牺牲推理速度的前提下，提升布局分析、表格识别和关键信息提取的性能。
• 集成图像方向校正和布局恢复功能，实现端到端可编辑文档输出。
• 通过知识蒸馏和轻量化架构设计，提升模型效率和准确性。

提出的方法

• 引入图像方向校正模块，在分析前处理旋转的文档图像。
• 采用布局恢复模块，在分析后将原始布局重建为可编辑的 Word 文件。
• 使用 PP-PicoDet（基于 YOLO 的轻量化检测器）结合 FGD 知识蒸馏，使布局分析速度提升 11 倍，同时保持相当的 mAP 水平。
• 通过 PP-LCNet（主干网络）、CSP-PAN（特征融合）和 SLAHead（结构感知解码）优化表格识别模型，准确率提升 6%。
• 提出 VI-LayoutXLM，一种与视觉特征无关的 LayoutXLM 变体，以提升关键信息抽取任务中的泛化能力和推理速度。
• 应用 TB-YX 排序方法实现阅读顺序对齐，并采用 U-DML 知识蒸馏进一步提升 SER 和 RE 性能。

实验结果

研究问题

• RQ1 如何在保持或提升准确率的同时，显著提升文档分析系统的推理速度？
• RQ2 通过模型轻量化和知识蒸馏，能在布局分析、表格识别和关键信息抽取方面实现哪些性能提升？
• RQ3 与视觉特征无关的 LayoutXLM 变体是否能提升关键信息抽取任务中的性能和推理速度？
• RQ4 新模块（图像方向校正和布局恢复）在提升系统鲁棒性和可用性方面的效果如何？
• RQ5 如 SLAHead 和 TB-YX 排序等优化组件，在文档理解中对结构准确率和关系抽取的提升程度如何？

主要发现

• PP-StructureV2 使用 PP-PicoDet 和 FGD 知识蒸馏，在布局分析中实现 11 倍的推理加速，同时保持相当的 mAP 水平。
• 在 PubTabNet 数据集上，通过 PP-LCNet、CSP-PAN 和 SLAHead，表格识别准确率提升 6%，推理时间保持相近。
• VI-LayoutXLM 模型在 SER 任务中 Hmean 提升 0.96%，在 XFUND-zh 数据集上 RE Hmean 提升 9.1%，同时模型尺寸减小、推理速度更快。
• TB-YX 排序算法使 XFUND-zh 数据集上的 RE Hmean 从 71.87% 提升至 78.81%，凸显阅读顺序在 KIE 中的重要性。
• U-DML 知识蒸馏使 XFUND-zh 数据集上的 RE Hmean 提升至 83.92%，且速度损失极小，展现出强大的泛化能力和效率。
• 该系统在所有子任务（布局分析、表格识别、关键信息抽取）上均优于 PP-Structure，且更适用于 CPU 和移动设备部署。