[论文解读] XFeat: Accelerated Features for Lightweight Image Matching

Guilherme Potje, Felipe Cadar+3 more|arXiv (Cornell University)|Apr 29, 2024

Advanced Image and Video Retrieval Techniques被引用 3

一句话总结

XFeat 是一种轻量级、与硬件无关的 CNN 架构，可加速图像匹配中的局部特征提取，在仅使用 CPU 的设备上实现实时性能。通过将极简的关键点检测分支与一种新颖的匹配精炼模块相结合，实现半密集匹配，其速度相比之前的方法最高提升 5 倍，同时在姿态估计和视觉定位基准测试中保持或超越了最先进的准确率。

ABSTRACT

We introduce a lightweight and accurate architecture for resource-efficient visual correspondence. Our method, dubbed XFeat (Accelerated Features), revisits fundamental design choices in convolutional neural networks for detecting, extracting, and matching local features. Our new model satisfies a critical need for fast and robust algorithms suitable to resource-limited devices. In particular, accurate image matching requires sufficiently large image resolutions - for this reason, we keep the resolution as large as possible while limiting the number of channels in the network. Besides, our model is designed to offer the choice of matching at the sparse or semi-dense levels, each of which may be more suitable for different downstream applications, such as visual navigation and augmented reality. Our model is the first to offer semi-dense matching efficiently, leveraging a novel match refinement module that relies on coarse local descriptors. XFeat is versatile and hardware-independent, surpassing current deep learning-based local features in speed (up to 5x faster) with comparable or better accuracy, proven in pose estimation and visual localization. We showcase it running in real-time on an inexpensive laptop CPU without specialized hardware optimizations. Code and weights are available at www.verlab.dcc.ufmg.br/descriptors/xfeat_cvpr24.

研究动机与目标

• 开发一种轻量级、高效的 CNN 架构，用于局部特征提取，使其在资源受限设备上有效运行。
• 在单一统一架构中同时支持稀疏和半密集图像匹配，以扩大适用范围。
• 消除对硬件特定优化的需求，同时保持高准确率和高效率。
• 改进基于深度学习的局部特征匹配中的速度-准确率权衡，特别是在移动机器人和增强现实领域。
• 引入一种新颖的匹配精炼模块，利用粗粒度描述符实现高密度、高准确率的匹配，而无需依赖高分辨率特征。

提出的方法

• XFeat 采用轻量级 CNN 主干网络，在最大化输入分辨率的同时最小化通道数量，以在准确率和效率之间取得平衡。
• 它引入了一个并行的、极简的关键点检测分支，计算效率高且在小型主干模型中表现有效。
• 该模型支持两种推理模式：通过检测到的关键点实现稀疏匹配，以及通过特征图提取实现半密集匹配。
• 一种新颖的匹配精炼模块利用粗粒度局部描述符预测像素级偏移，仅增加 11% 的推理成本，显著提升了匹配密度和准确率。
• 该架构设计为与硬件无关，可在 CPU 和边缘设备上部署，无需专用优化。
• 训练过程中包含合成图像形变，以提升对具有挑战性的图像对的鲁棒性，尤其在半密集匹配场景中。

实验结果

研究问题

• RQ1 轻量级 CNN 架构是否能在仅使用 CPU 的硬件上，实现比现有方法快 5 倍的同时达到最先进的图像匹配准确率？
• RQ2 如何通过单一模型高效支持稀疏和半密集匹配，而不牺牲性能或效率？
• RQ3 在小型主干模型中，专用的极简关键点检测分支对准确率和速度的影响如何？
• RQ4 基于粗粒度描述符的匹配精炼模块是否能实现高准确率、高密度的匹配，而无需依赖高分辨率特征图？
• RQ5 在视觉定位和姿态估计等下游任务中，架构的简洁性在多大程度上优于更大、更复杂的模型？

主要发现

• XFeat 的推理速度相比 SuperPoint 和 DISK 最快提升 5 倍，同时在相对姿态估计和视觉定位任务中的准确率与之相当或更优。
• 在 Megadepth-1500 数据集上，XFeat 在半密集匹配中达到 50.2% AUC@5°（XFeat*），在稀疏匹配中达到 42.6%（XFeat），优于基线模型。
• 在 Aachen day-night 视觉定位任务中，XFeat 达到 91.5% 的准确率（0.5m 阈值）和 89.8% 的准确率（5°），与 SOTA 方法如 SuperPoint 和 DISK 相当，但速度至少快 9 倍。
• 匹配精炼模块仅增加 11% 的推理成本，但显著提升了匹配密度和准确率，尤其在非重复区域表现突出。
• 消融实验证实，并行关键点头对半密集性能至关重要，移除后在密集设置中准确率下降 10–15%。
• 使用合成形变进行训练可提升鲁棒性，尤其在半密集匹配中；而将通道数减少至 32 会显著降低性能，表明通道数的最优平衡至关重要。