[论文解读] PPGNet: Learning Point-Pair Graph for Line Segment Detection

Ziheng Zhang, Zhengxin Li+7 more|arXiv (Cornell University)|May 9, 2019

Remote Sensing and LiDAR Applications参考文献 58被引用 11

一句话总结

PPGNet 提出了一种基于图的线段检测新表示方法，将角点及其连通性建模为点对图，以捕捉结构化的几何关系。通过采用多阶段 CNN 架构进行角点检测与连通性预测，该方法在 York Urban 和 Wireframe 基准测试中实现了最先进性能，在室内与室外场景中均表现出良好的泛化能力，显著提升了复杂及遮挡线段的检测效果。

ABSTRACT

In this paper, we present a novel framework to detect line segments in man-made environments. Specifically, we propose to describe junctions, line segments and relationships between them with a simple graph, which is more structured and informative than end-point representation used in existing line segment detection methods. In order to extract a line segment graph from an image, we further introduce the PPGNet, a convolutional neural network that directly infers a graph from an image. We evaluate our method on published benchmarks including York Urban and Wireframe datasets. The results demonstrate that our method achieves satisfactory performance and generalizes well on all the benchmarks. The source code of our work is available at \url{https://github.com/svip-lab/PPGNet}.

研究动机与目标

• 为解决基于端点的线段检测方法在人造环境中对低响应或重叠线段常失效的局限性。
• 通过点对图表示线段与角点，捕捉超越简单端点的几何关系，构建结构化且信息丰富的表示。
• 设计一种深度学习框架，直接从单张 RGB 图像推理完整的线段图，实现端到端预测。
• 通过构建一个全新、大规模、完全标注的线段数据集，弥补现有数据集中缺乏全面标注的不足，覆盖室内与室外场景。
• 提升在复杂场景中的泛化能力与鲁棒性，克服传统方法因尺度、光照或几何模糊性导致的失效问题。

提出的方法

• 提出一种多阶段 CNN 架构 PPGNet，直接从 RGB 图像预测点对图，将角点及其连通性建模为节点与边。
• 该框架首先通过角点检测模块（JDM）检测角点，输出潜在角点位置的置信度图。
• 针对每个检测到的角点对，构建线段候选，并通过可学习采样模块（LSAM）沿线段路径提取特征。
• 利用基于注意力的消息传递模块（AMIM）预测角点对之间的连通性，通过聚合采样点的特征判断线段是否存在。
• 提出一种新型训练策略，使用基于图的标注，包括所有角点对的完整连通性标注，以实现对整个图结构的监督。
• 该方法在优化后的 Wireframe 数据集以及新创建的大规模室内与室外场景全标注数据集上进行训练。

实验结果

研究问题

• RQ1 与基于端点的方法相比，将角点及其连通性建模为点对图的图表示方法，是否能提升线段检测的鲁棒性与完整性？
• RQ2 深度学习模型能否直接从单张 RGB 图像预测完整的线段图，而无需依赖后处理或边缘分组？
• RQ3 所提方法在通用线段检测任务中的性能，与最先进线框解析器相比如何，特别是在非线框或低响应线段上的表现？
• RQ4 关键超参数（如角点检测阈值与 LSAM 中的采样率）对最终检测精度与泛化能力的影响如何？
• RQ5 所提框架能否在未见过的室内与室外场景中良好泛化，包括存在重叠或共线线段的复杂结构？

主要发现

• PPGNet 在 York Urban 与 Wireframe 基准测试中均达到最先进性能，展现出在多样化室内与室外场景中的强大泛化能力。
• 在优化后的 Wireframe 数据集上，PPGNet 检测到的线段数量显著多于先前的线框解析器 [21]，包括此前被遗漏的一般线段与遮挡的交点。
• 当角点检测阈值 τ = 0.25 时，方法达到最优性能，精度与召回率取得最佳平衡，经 AUC 评估验证。
• LSAM 中更高的采样率可提升连通性预测准确率，但会增加计算负载；当仅使用角点特征（采样率 = 2）时，性能急剧下降。
• 失败案例揭示了在处理小型矩形结构及非常接近的共线线段时存在局限，主要由于特征干扰与间隙采样不足。
• 所提框架在未见场景中表现出良好泛化能力，如定性结果所示，并对光照与尺度变化具有鲁棒性。