[论文解读] Plane Geometry Diagram Parsing

Mingliang Zhang, Fei Yin+2 more|arXiv (Cornell University)|May 19, 2022

Data Visualization and Analytics被引用 5

一句话总结

本文提出PGDPNet，一种用于平面几何图解析的端到端深度学习模型，结合了改进的实例分割模块以提取几何原始体，并利用图神经网络（GNN）结合几何与结构先验进行关系推理。该方法在PGDP5K和IMP-Geometry3K数据集上均达到最先进性能，显著提升了原始体检测、关系解析及几何形式语言生成的效果。

ABSTRACT

Geometry diagram parsing plays a key role in geometry problem solving, wherein the primitive extraction and relation parsing remain challenging due to the complex layout and between-primitive relationship. In this paper, we propose a powerful diagram parser based on deep learning and graph reasoning. Specifically, a modified instance segmentation method is proposed to extract geometric primitives, and the graph neural network (GNN) is leveraged to realize relation parsing and primitive classification incorporating geometric features and prior knowledge. All the modules are integrated into an end-to-end model called PGDPNet to perform all the sub-tasks simultaneously. In addition, we build a new large-scale geometry diagram dataset named PGDP5K with primitive level annotations. Experiments on PGDP5K and an existing dataset IMP-Geometry3K show that our model outperforms state-of-the-art methods in four sub-tasks remarkably. Our code, dataset and appendix material are available at https://github.com/mingliangzhang2018/PGDP.

研究动机与目标

• 解决在复杂、杂乱的平面几何图中准确提取几何原始体并进行关系解析的挑战。
• 克服传统方法（如霍夫变换和基于规则的系统）在版面复杂性和原始体干扰下失效的局限性。
• 开发一种端到端框架，联合优化原始体检测、分类与关系推理，以提升几何问题求解能力。
• 构建大规模、细粒度标注的数据集（PGDP5K），以支持未来在几何图解析领域的研究。
• 将几何先验知识整合到基于GNN的推理模块中，以增强结构与语义关系预测能力。

提出的方法

• 提出一种几何分割模块（GSM），采用双分支网络结构：语义分割分支与分割嵌入分支，实现对几何原始体的像素级实例分割。
• 将图解析任务建模为异构场景图生成（SGG）问题，其中几何原始体为节点，关系为边，并支持多边关系。
• 设计一种图神经网络（GM）模块，聚合视觉、空间与结构特征，以预测原始体间的关系并分类文本内容。
• 将GSM与GM模块整合为一个端到端可训练的模型PGDPNet，联合优化原始体提取与关系推理。
• 通过结构化消息传递与空间编码，将几何先验知识融入GNN，以提升对空间关系的推理能力。
• 在新构建的PGDP5K数据集上端到端训练整个模型，该数据集提供原始体与关系的实例级标注。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在复杂重叠图中优于传统方法提取几何原始体？
• RQ2 图神经网络是否能有效建模平面几何图中异构节点类型与多边关系？
• RQ3 整合几何先验知识在多大程度上能提升图解析中的关系推理性能？
• RQ4 与流水线方法相比，原始体检测与关系推理的端到端训练对整体解析性能有何影响？
• RQ5 像PGDP5K这样大规模、细粒度的数据集能否作为推动平面几何图解析发展的可靠基准？

主要发现

• 与InterGPS相比，PGDPNet在PGDP5K和IMP-Geometry3K数据集上的‘Totally Same’指标（几何形式语言生成）分别提升了57.2%和57.4%。
• 与无GNN基线相比，GNN模块在PGDP5K和IMP-Geometry3K上分别将非geo2geo关系推理性能提升11.0%和6.5%。
• 当用于InterGPS问题求解器时，PGDPNet将准确率从57.5%（使用InterGPS自身解析器）提升至74.1%，相对提升16.6%。
• 在IMP-Geometry3K数据集上，PGDPNet在All关系类型上达到99.17%的‘Likely Same’与91.51%的‘Totally Same’，优于先前方法。
• 该模型在原始体检测与关系解析方面表现出强鲁棒性，在各类图布局与原始体类型下均保持高召回率与高精确率。
• 失败案例表明，仅依赖视觉线索可能导致文本标签误分类（例如，将角标记误认为半径），提示未来工作需整合文本语义信息。