[论文解读] RoMa: Robust Dense Feature Matching

Johan Edstedt, Qiyu Sun+3 more|arXiv (Cornell University)|May 24, 2023

Human Pose and Action Recognition被引用 5

一句话总结

RoMa 提出了一种鲁棒的密集特征匹配方法，通过将冻结的 DINOv2 特征用于粗粒度匹配，结合专用于细粒度优化的 ConvNet 特征，并利用 Transformer 解码器预测锚点概率以建模多模态分布，实现了在具有挑战性的 WxBS 基准上的 36% 性能提升，创下密集匹配在极端真实世界变化下的新 SOTA 记录。

ABSTRACT

Feature matching is an important computer vision task that involves estimating correspondences between two images of a 3D scene, and dense methods estimate all such correspondences. The aim is to learn a robust model, i.e., a model able to match under challenging real-world changes. In this work, we propose such a model, leveraging frozen pretrained features from the foundation model DINOv2. Although these features are significantly more robust than local features trained from scratch, they are inherently coarse. We therefore combine them with specialized ConvNet fine features, creating a precisely localizable feature pyramid. To further improve robustness, we propose a tailored transformer match decoder that predicts anchor probabilities, which enables it to express multimodality. Finally, we propose an improved loss formulation through regression-by-classification with subsequent robust regression. We conduct a comprehensive set of experiments that show that our method, RoMa, achieves significant gains, setting a new state-of-the-art. In particular, we achieve a 36% improvement on the extremely challenging WxBS benchmark. Code is provided at https://github.com/Parskatt/RoMa

研究动机与目标

• 解决在光照、视角、尺度和纹理变化等极端真实世界条件下，密集特征匹配缺乏鲁棒性的问题。
• 通过利用冻结的、自监督预训练的 DINOv2 特征，避免微调或从零训练的局限，提升泛化能力。
• 通过结合来自基础模型的粗粒度 DINOv2 特征与专为细粒度定位设计的 ConvNet 特征，提升匹配精度。
• 通过重新设计匹配解码器以预测锚点概率而非直接回归坐标，增强在多模态匹配场景下的鲁棒性。
• 通过双损失策略优化训练：粗粒度匹配采用分类回归（regression-by-classification），细粒度优化采用鲁棒回归，更好地匹配底层数据分布。

提出的方法

• 将冻结的 DINOv2 特征用作鲁棒且通用的主干网络，用于粗粒度特征提取，避免因有限的 3D 监督数据导致的过拟合。
• 引入一个专用的 ConvNet 以提取细粒度特征，实现精确的定位，其训练独立于 DINOv2 特征。
• 通过融合 DINOv2 的粗粒度特征与 ConvNet 的细粒度特征，构建特征金字塔，实现多尺度、高精度的匹配。
• 设计一种与坐标无关的 Transformer 解码器，通过预测锚点概率，使模型能够表达多模态匹配分布。
• 实施两阶段损失策略：粗粒度匹配采用分类回归以处理多模态分布，随后通过鲁棒回归进行优化，以应对单模态局部分布。
• 使用监督对应数据与所提出的损失函数联合训练模型，实现端到端的全管道优化。

Figure 2 : Illustration of our robust approach RoMa. Our contributions are shown with green highlighting and a checkmark, while previous approaches are indicated with gray highlights and a cross. Our first contribution is using a frozen foundation model for coarse features, compared to fine-tuning o

实验结果

研究问题

• RQ1 与微调或随机初始化的特征相比，冻结的、自监督的 DINOv2 特征是否能显著提升密集特征匹配的鲁棒性？
• RQ2 将基础模型的粗粒度特征与专用 ConvNet 的细粒度特征结合，是否比联合训练特征能带来更高的定位精度？
• RQ3 将匹配建模为锚点概率预测而非直接坐标回归，是否能在多模态匹配场景中提升性能？
• RQ4 与标准 L2 损失相比，采用双损失策略（粗粒度匹配使用分类回归，细粒度优化使用鲁棒回归）是否更有效？
• RQ5 在 WxBS 等极端基准上，该方法在先前方法失效的情况下，性能提升程度如何？

主要发现

• RoMa 在极具挑战性的 WxBS 基准上实现了平均精度（mAP）36% 的相对提升，创下新的 SOTA 记录。
• 在 IMC2022 基准上，与之前 SOTA 方法相比，RoMa 将相对误差降低了 26%，展现出在宽基线匹配任务中的强大泛化能力。
• RoMa 在 ScanNet-1500 基准上首次实现了 AUC@20° 超过 70 的成绩，表明其在低纹理、高变化室内场景中的卓越性能。
• 在 MegaDepth-8-Scenes 基准上，RoMa 达到了 85.3 的 AUC@20°，优于此前 SOTA 方法如 DKM（84.2）和 ASpanFormer（82.9）。
• 在 InLoc 基准的视觉定位任务中，RoMa 实现了 0.25m 以内和 2° 以内的定位准确率 89.9%，超越所有先前方法。
• 尽管引入了更复杂的架构，RoMa 的推理时间仅增加 7%（560×560 分辨率下为 198.8ms vs. 186.3ms），表明其具备高效的部署潜力。

Figure 3 : Illustration of localizability of matches. At infinite resolution the match distribution can be seen as a 2D surface (illustrated as 1D lines in the figure), however at a coarser scale $s$ this distribution becomes blurred due to motion boundaries. This means it is necessary to both use a