[论文解读] ReF -- Rotation Equivariant Features for Local Feature Matching

Abhishek Peri, Kinal Mehta+4 more|arXiv (Cornell University)|Mar 10, 2022

Robotics and Sensor-Based Localization被引用 6

一句话总结

该论文提出 ReF，一种基于可旋转引导 E2-CNN 的旋转等变特征网络，通过将旋转特定特征进行群聚合以实现旋转不变的局部匹配。通过将 ReF 与经过增强训练的 RoRD 进行集成，该方法在 HPatches 和用于视觉位置识别的新数据集 UrbanScenes3D-Air 上取得了最先进性能，尤其在大角度旋转变化下表现优异。

ABSTRACT

Sparse local feature matching is pivotal for many computer vision and robotics tasks. To improve their invariance to challenging appearance conditions and viewing angles, and hence their usefulness, existing learning-based methods have primarily focused on data augmentation-based training. In this work, we propose an alternative, complementary approach that centers on inducing bias in the model architecture itself to generate `rotation-specific' features using Steerable E2-CNNs, that are then group-pooled to achieve rotation-invariant local features. We demonstrate that this high performance, rotation-specific coverage from the steerable CNNs can be expanded to all rotation angles by combining it with augmentation-trained standard CNNs which have broader coverage but are often inaccurate, thus creating a state-of-the-art rotation-robust local feature matcher. We benchmark our proposed methods against existing techniques on HPatches and a newly proposed UrbanScenes3D-Air dataset for visual place recognition. Furthermore, we present a detailed analysis of the performance effects of ensembling, robust estimation, network architecture variations, and the use of rotation priors.

研究动机与目标

• 通过将旋转等变性直接嵌入模型架构，而非仅依赖数据增强，提升局部特征匹配中的旋转鲁棒性。
• 通过利用可旋转 CNN 保留特征图中的旋转结构，解决标准 CNN 在处理极端视角变化时的局限性。
• 通过结合 ReF 的高精度旋转特定特征与增强训练的 RoRD 的广泛但精度较低的特征，提升所有旋转角度下的覆盖范围和准确性。
• 引入一个新的基准数据集 UrbanScenes3D-Air，用于评估在无人机视角、多方向旋转条件下的视觉位置识别性能。
• 分析集成策略、鲁棒估计（RANSAC）、网络架构选择以及旋转先验对旋转鲁棒特征匹配性能的影响。

提出的方法

• ReF 网络使用可旋转 E2-CNN 学习在离散旋转（C8 群）下保持等变性的特征表示，从而在特定角度实现精确的特征响应。
• 通过在旋转通道上对可旋转特征图进行群聚合，获得旋转不变的描述子，确保无论图像如何旋转，匹配结果保持一致。
• 采用集成策略，将 ReF 的高精度、旋转特定特征与 RoRD 通过数据增强获得的广泛旋转覆盖能力相结合，提升整体鲁棒性。
• 模型通过关键点检测和描述子学习的自监督损失进行训练，最终使用余弦相似度进行匹配。
• 消融研究评估了在群聚合后引入标准 CNN 层的影响，结果表明此类层会破坏等变性并降低性能。
• 评估了不同循环群（C4、C8、C16）以确定最优旋转粒度，最终选择 C8 以在性能与计算成本之间取得最佳平衡。

实验结果

研究问题

• RQ1 与仅依赖数据增强的方法相比，通过可旋转 CNN 实现的内在架构偏置是否能提升局部特征匹配的旋转鲁棒性？
• RQ2 当存在旋转先验时，ReF 在不同旋转角度下的性能如何变化，特别是在非 90° 倍数角度（如 45° 和 135°）时？
• RQ3 与独立模型相比，将 ReF 与 RoRD 集成在所有旋转角度下是否能显著提升整体覆盖范围和准确性？
• RQ4 在群聚合层之后添加标准 CNN 层对 ReF 的等变性及匹配性能有何影响？
• RQ5 不同循环群（C4、C8、C16）对可旋转特征表示的性能与泛化能力有何影响？

主要发现

• 在 HPatches 数据集上，ReF 在大角度旋转变化下达到最先进性能，尤其在 90° 和 180° 时匹配精度显著优于 SIFT、SuperPoint 和 R2D2。
• 在新数据集 UrbanScenes3D-Air 上，ReF + RoRD 集成模型优于所有基线方法，在所有旋转角度下均实现更高召回率，尤其在 45° 和 135° 时，单个模型表现失败，而集成模型仍保持高性能。
• 当存在旋转先验时，未聚合的 ReF 特征（即未进行群聚合）在 45° 和 135° 时表现更优，表明在已知方向时，旋转特定特征更具精度。
• 在群聚合层后添加标准 CNN 层会完全破坏等变性，导致各角度性能趋于平坦，证实保留群聚合输出对实现不变性至关重要。
• 循环群选择（C4、C8、C16）对性能影响极小，但 C8 在旋转分辨率与计算成本之间提供了最佳平衡，能够实现 45° 和 135° 的精确响应。
• RANSAC 显著提升了匹配质量，通过过滤初始匹配中的噪声点；基于 ReF 的流水线展现出比最先进方法更清晰、更准确的对应点集，尤其在高旋转条件下表现突出。