[论文解读] R2D2: Reliable and Repeatable Detectors and Descriptors for Joint Sparse Keypoint Detection and Local Feature Extraction

Jérôme Revaud, Philippe Weinzaepfel+5 more|arXiv (Cornell University)|Jun 14, 2019

Robotics and Sensor-Based Localization被引用 7

一句话总结

R2D2 提出了一种联合学习框架，通过自监督训练实现可靠且可重复的关键点检测与局部特征描述。通过在训练过程中预测描述符的判别性，该方法避免了模糊区域，从而在 HPatches 数据集上达到最先进性能，并在 Aachen Day-Night 数据集上创下新纪录。

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

研究动机与目标

• 为解决传统检测-然后-描述流水线将关键点检测与描述视为独立且手工设计的处理流程的局限性。
• 克服显著区域可能缺乏判别性的问题，从而降低描述符质量。
• 通过仅在可高置信度执行匹配的区域学习描述符，提升可靠性。
• 开发一种自监督方法，联合优化检测、描述与判别性预测。
• 实现稀疏、可重复且可靠的特征点，其性能在基准数据集上优于现有方法。

提出的方法

• 该模型联合预测关键点位置、局部描述符以及每个候选区域的判别性分数。
• 采用自监督训练目标，利用图像对之间的几何一致性来引导学习。
• 判别性预测器充当置信度过滤器，抑制模糊或低对比度区域的特征。
• 网络架构设计旨在通过端到端优化生成稀疏、可重复的关键点与高质量描述符。
• 训练过程通过最小化结合检测、描述与判别性预测目标的多任务损失实现。
• 该方法通过端到端联合学习所有组件，避免依赖手工设计特征。

实验结果

研究问题

• RQ1 与独立流水线相比，联合学习检测与描述是否能提升可靠性和可重复性？
• RQ2 在训练过程中预测描述符判别性是否能带来更好的特征质量与匹配性能？
• RQ3 自监督方法是否能在不依赖标注关键点数据的情况下实现最先进性能？
• RQ4 该方法在具有大视角与光照变化的挑战性基准上表现如何？
• RQ5 过滤低判别性区域在多大程度上提升了整体匹配准确率？

主要发现

• R2D2 在 HPatches 数据集上达到最先进性能，在检测与描述任务中均优于先前方法。
• 该方法在 Aachen Day-Night 定位基准上创下新纪录，展示了在挑战性条件下的强大泛化能力。
• 通过预测描述符判别性，R2D2 有效避免了模糊区域，从而实现更可靠的特征点检测。
• 检测、描述与判别性联合优化显著提升了可重复性与匹配准确率。
• 自监督训练使模型能够在无需标注关键点数据的情况下学习高质量特征。
• 该方法生成稀疏、可重复且可靠的特征点，在多样化视觉条件下均表现有效。