[论文解读] Progressive Correspondence Pruning by Consensus Learning

Chen Zhao, Yixiao Ge+4 more|arXiv (Cornell University)|Jan 3, 2021

Robotics and Sensor-Based Localization参考文献 45被引用 9

一句话总结

本文提出一种基于局部到全局共识学习的渐进式对应关系剪枝方法，以提升在高度不平衡、异常值主导的对应关系集合中的内点识别能力。通过堆叠基于动态图的剪枝模块，估算局部与全局共识得分，该方法逐步过滤异常值，在线性拟合、相机位姿估计和图像定位基准测试中达到最先进性能，在YFCC100M数据集上实现32.79%的AUC@5°。

ABSTRACT

Correspondence selection aims to correctly select the consistent matches (inliers) from an initial set of putative correspondences. The selection is challenging since putative matches are typically extremely unbalanced, largely dominated by outliers, and the random distribution of such outliers further complicates the learning process for learning-based methods. To address this issue, we propose to progressively prune the correspondences via a local-to-global consensus learning procedure. We introduce a ``pruning'' block that lets us identify reliable candidates among the initial matches according to consensus scores estimated using local-to-global dynamic graphs. We then achieve progressive pruning by stacking multiple pruning blocks sequentially. Our method outperforms state-of-the-arts on robust line fitting, camera pose estimation and retrieval-based image localization benchmarks by significant margins and shows promising generalization ability to different datasets and detector/descriptor combinations.

研究动机与目标

• 为解决在被随机分布异常值严重主导的候选对应关系中识别内点的挑战。
• 克服单次分类方法在处理类别不平衡与随机异常值分布时的局限性。
• 提升在多样化数据集及不同检测器/描述符组合下的鲁棒性与泛化能力。
• 开发一种渐进式剪枝框架，通过迭代优化局部与全局共识，逐步优化对应关系选择。

提出的方法

• 该方法引入一种'剪枝'模块，利用特征空间邻居及其关联性，为每个对应关系构建动态局部图。
• 环形卷积层聚合局部特征，并基于其邻域上下文为每个对应关系计算局部共识得分。
• 将局部图合并为全局图，并通过谱图卷积层计算全局共识得分，以指导剪枝过程。
• 将多个剪枝模块依次堆叠，逐步优化候选集合，降低异常值的影响。
• 采用自适应温度缩放以提升共识得分的判别能力。
• 该方法端到端训练，并迭代应用，每个阶段均采用固定采样比例进行候选选择。

实验结果

研究问题

• RQ1 通过共识学习实现渐进式剪枝，能否提升在高度不平衡、含随机异常值的对应关系集合中的内点检测性能？
• RQ2 与单次分类方法相比，局部到全局共识学习在处理随机异常值分布时表现如何？
• RQ3 迭代剪枝对最终对应关系集合的一致性与准确性有何影响？
• RQ4 各个组件——局部共识、全局共识与自适应温度——对整体性能的贡献分别是什么？

主要发现

• 所提方法在YFCC100M基准测试中取得32.79%的AUC@5°，显著优于基线PointCN及其他SOTA方法。
• 经过多轮迭代，剪枝后候选集合的内点比例从20%提升至80%，表明一致性显著增强。
• 消融实验表明，与无共识学习的基线相比，局部到全局共识学习使AUC提升1.71个百分点。
• 环形卷积层在AUC上较MLP与最大池化方法高出0.80个百分点，证明其在局部特征聚合中的有效性。
• 该方法在不同数据集及检测器/描述符组合下均保持强大泛化能力，对分布偏移具有鲁棒性。
• 最优性能在25%采样比例下实现，当剪枝后剩余匹配点过少时性能下降。