[论文解读] Searching from Area to Point: A Hierarchical Framework for Semantic-Geometric Combined Feature Matching

Yesheng Zhang, Zhao Xu|arXiv (Cornell University)|Apr 29, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文提出了一种分层特征匹配框架——区域到点匹配（A2PM），通过先利用语义一致性和几何一致性识别语义区域匹配，再将其精炼为精确的点匹配，从而提升匹配精度。通过利用语义先验和基于SGAM的几何感知精炼，该方法在点匹配和位姿估计任务中显著提升性能，尤其在高分辨率输入和复杂条件下表现更优。

ABSTRACT

Feature matching is a crucial technique in computer vision. A unified perspective for this task is to treat it as a searching problem, aiming at an efficient search strategy to narrow the search space to point matches between images. One of the key aspects of search strategy is the search space, which in current approaches is not carefully defined, resulting in limited matching accuracy. This paper, thus, pays attention to the search space and proposes to set the initial search space for point matching as the matched image areas containing prominent semantic, named semantic area matches. This search space favors point matching by salient features and alleviates the accuracy limitation in recent Transformer-based matching methods. To achieve this search space, we introduce a hierarchical feature matching framework: Area to Point Matching (A2PM), to first find semantic area matches between images and later perform point matching on area matches. We further propose Semantic and Geometry Area Matching (SGAM) method to realize this framework, which utilizes semantic prior and geometry consistency to establish accurate area matches between images. By integrating SGAM with off-the-shelf state-of-the-art matchers, our method, adopting the A2PM framework, achieves encouraging precision improvements in massive point matching and pose estimation experiments.

研究动机与目标

• 解决当前特征匹配方法将整个图像作为搜索空间所导致的冗余计算和精度下降问题。
• 通过定义以语义显著图像区域为中心的内容感知搜索空间，提升匹配精度。
• 通过引入语义和几何先验缩小搜索空间，突破当前基于Transformer的匹配器在精度上的瓶颈。
• 通过全局匹配聚合模块提升低语义场景下的匹配空间分布，增强鲁棒性。
• 通过减少初始特征提取阶段的下采样需求，实现高分辨率输入的处理，保留细粒度细节。

提出的方法

• 提出一种分层框架——区域到点匹配（A2PM），其中特征匹配分为两个阶段：首先匹配语义区域，然后精炼为点级匹配。
• 提出语义与几何区域匹配（SGAM），一种两阶段方法，结合语义区域匹配（SAM）和基于基础矩阵的几何一致性精炼（GAM）。
• 利用基础模型的语义分割结果检测并匹配图像间的显著语义区域，利用其对视角和光照变化的不变性。
• 通过对极约束实现几何一致性，过滤区域匹配中的误匹配，使用现成的点匹配器验证匹配结果。
• 设计全局匹配聚合（GMC）模块，基于大小比例阈值选择并聚合区域匹配，确保在低语义场景中匹配的均匀分布。
• 将SGAM与现有SOTA点匹配器（如LoFTR、ASpan）集成，无需修改网络结构，通过A2PM作为即插即用的流水线提升性能。

实验结果

研究问题

• RQ1 基于语义区域定义的内容感知搜索空间，是否能提升特征匹配的精度与效率？
• RQ2 如何联合利用语义先验与几何一致性，在复杂场景中实现鲁棒的区域匹配？
• RQ3 将区域匹配作为初始搜索空间，能在多大程度上减少冗余计算并提升点匹配性能？
• RQ4 在语义线索微弱的低语义或平面场景中，如何改善匹配的分布？
• RQ5 所提出的框架能否有效集成到现有SOTA点匹配方法中，以提升其性能？

主要发现

• 结合SGAM的A2PM框架在点匹配精度上实现显著提升，尤其在高分辨率输入下表现突出，如在MatterPort3D和ScanNet数据集上的验证所示。
• 在ScanNet-1500基准上，该方法将AUC@5°从基线的25.78提升至25.89（无需GMC模块），在最优GMC设置下进一步提升至27.12。
• 消融实验表明，GMC中将大小比例阈值$SP_{thd}$设为0.6时，在性能与计算成本之间取得最佳平衡。
• 使用语义区域作为搜索空间，使在LoFTR因缺乏合适搜索空间而失败的场景中仍能成功匹配，如图1所示。
• 通过GAM实现的几何一致性能有效过滤误匹配，减少误差传播，提升匹配可靠性，尤其在模糊或杂乱场景中表现显著。
• 该方法在位姿估计任务中表现优异，与基线方法相比，在具有挑战性的基准上AUC@10°提升超过5%。