[论文解读] Robust Line Segments Matching via Graph Convolution Networks

Quanmeng Ma, Guang Jiang+1 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Image and Video Retrieval Techniques参考文献 28被引用 9

一句话总结

本文提出一种基于图卷积网络（GCN）的端到端方法，用于在低纹理和复杂场景中实现鲁棒的线段匹配，通过最优传输联合学习局部线段描述子与匹配关系，利用图内与图间卷积。该方法通过引入top-k池化实现鲁棒的图结构学习，以及通过GLpooling实现端点不变的特征提取，将召回率提升至70.47%，较先前最先进方法高出25%。

ABSTRACT

Line matching plays an essential role in structure from motion (SFM) and simultaneous localization and mapping (SLAM), especially in low-textured and repetitive scenes. In this paper, we present a new method of using a graph convolution network to match line segments in a pair of images, and we design a graph-based strategy of matching line segments with relaxing to an optimal transport problem. In contrast to hand-crafted line matching algorithms, our approach learns local line segment descriptor and the matching simultaneously through end-to-end training. The results show our method outperforms the state-of-the-art techniques, and especially, the recall is improved from 45.28% to 70.47% under a similar presicion. The code of our work is available at https://github.com/mameng1/GraphLineMatching.

研究动机与目标

• 解决在低纹理、重复性高且视角不变的室内场景中，传统基于点的方法失效时线段匹配的挑战。
• 克服手工设计描述子与几何约束对端点不准确和视角变化敏感的局限性。
• 构建统一的深度学习框架，以端到端方式联合学习线段描述子与对应匹配关系。
• 通过不变特征学习与基于图的上下文聚合，提升对旋转、缩放、模糊和光照变化等图像变换的鲁棒性。

提出的方法

• 提出一种线段特征学习模块，从每个线段中心的矩形区域提取特征，降低对端点不准确的敏感性。
• 采用包含三个组件的图卷积网络：通过top-k池化实现图结构学习，图内卷积用于局部上下文建模，图间卷积用于跨图像特征对齐。
• 采用可学习的top-k池化策略，构建鲁棒且稀疏的图连接，避免在存在未匹配线段的数据集中产生无效关系。
• 应用最优传输计算线段集合间的分配矩阵，实现可微的软匹配，并通过可微过滤机制排除非匹配项。
• 引入特征学习损失，增强匹配线段描述子的紧凑性，同时提升未匹配线段间的差异性，从而增强判别能力。
• 采用GLpooling聚合线段上各点的特征，生成在端点微小偏移下更稳定且不变的描述子。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能比手工设计或两阶段方法更有效地联合学习局部线段描述子与匹配决策？
• RQ2 基于图的上下文聚合在低纹理与视角不变场景中如何提升匹配的鲁棒性？
• RQ3 基于top-k池化的图结构学习在存在未匹配或断裂线段的数据集中，能在多大程度上提升性能？
• RQ4 所提出的特征学习损失与GLpooling在提升对端点不准确与图像变换的不变性方面有何贡献？
• RQ5 该方法是否能在保持高精度的前提下，显著超越最先进技术的召回率，尤其在复杂条件下？

主要发现

• 所提方法实现70.47%的召回率，相较先前最先进方法LJL（45.29%召回率）相对提升25.19%，且在相似精度（86.12% vs. 85.46%）下表现更优。
• 该方法保持高精度（86.12%），F1值达77.51%，优于所有基线方法，包括LJL、LPI与MSLD。
• 消融实验表明，若移除top-k图结构学习，召回率将下降2.63%（69.46% → 66.83%），证实其在处理未匹配线段中的关键作用。
• 与直接使用原始线段点特征相比，GLpooling使召回率提升2.63%，证明其在降低端点误差敏感性方面的有效性。
• 该方法在旋转、缩放与模糊等变换下表现出更优的鲁棒性，尤其在召回率方面全面超越LJL。
• 定性结果表明，该方法能生成更多正确匹配（蓝色线段）并减少错误匹配（红色线段），尤其在低纹理与模糊场景中表现更优。