[论文解读] R2D2: Repeatable and Reliable Detector and Descriptor

Jérôme Revaud, Philippe Weinzaepfel+5 more|arXiv (Cornell University)|Jun 14, 2019

Robotics and Sensor-Based Localization参考文献 67被引用 356

一句话总结

R2D2 共同学习一个稀疏关键点检测器和局部描述符，并配备一个可靠性预测器，优化可重复性与判别匹配性，在 HPatches 和 Aachen Day-Night 上达到最先进的结果。

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

研究动机与目标

• 指出仅使用可重复性来进行关键点检测在学习描述符时的局限性。
• 提出一个联合的检测与描述符框架，该框架还预测描述符的判别性（可靠性）。
• 开发无监督损失以提升可重复性和稀疏性，以及基于列表的 AP 损失以优化描述符匹配。
• 在 HPatches 和视觉定位基准（Aachen Day-Night）上展示该方法的有效性。

提出的方法

• 使用一个全卷积网络输出逐像素描述符 X、可重复性热图 S 以及描述符可靠性图 R。
• 用自监督的可重复性损失对 S 进行训练，在图像变换下鼓励协方局部最大值以及局部峰值。
• 用可微的 AP 损失对描述符进行训练，结合一个基于可靠性的加权目标，使只有高度判别的patch参与。
• 提出一个逐像素的可靠性分数 R 来门控描述符学习，从而实现稀疏且可靠的匹配。
• 在测试时，在 S 的局部极大点提取关键点，并按跨尺度的 S·R乘积进行排序，以形成最终的特征候选集。
• 提供高效的全卷积实现，以实现密集补丁比较和可扩展匹配。

实验结果

研究问题

• RQ1 如何在一个框架中联合学习关键点的可重复性和描述符的判别性？
• RQ2 描述符的可靠性预测是否通过避免模糊区域来提升匹配？
• RQ3 无监督的可重复性损失是否会产生高可重复性、稀疏且均匀分布的关键点？
• RQ4 R2D2 方法在标准基准（HPatches）以及真实世界定位基准（Aachen Day-Night）上的表现如何？

主要发现

• 该方法在 HPatches 上达到最先进的结果，在若干指标上超过现有的检测器和描述符。
• 联合学习可重复性和描述符可靠性相较于缺少任一组件的变体显著提升性能。
• 可靠性预测器有助于抑制虽显著但难以匹配的区域，从而提高匹配精度和定位结果。
• 在 Aachen Day-Night 上，经过适当配置的 R2D2 在视觉定位任务中达到或超过竞争方法。
• 消融研究表明，将可重复性与可靠性分离比仅使用检测器或仅使用描述符损失获得更好性能。