[论文解读] RFVTM: A Recovery and Filtering Vertex Trichotomy Matching for Remote Sensing Image Registration

Ming Zhao, Bowen An+3 more|arXiv (Cornell University)|Apr 2, 2022

Advanced Image and Video Retrieval Techniques参考文献 40被引用 11

一句话总结

本文提出RFVTM，一种基于图的遥感图像配准特征匹配方法，利用仿射不变的顶点三元组描述符建模全局空间关系，并通过迭代方式过滤异常值。一种恢复与过滤策略可恢复在异常值检测过程中被错误移除的内点，显著提升在大变换、重复模式和光谱不一致情况下的精度与稳定性，其在准确性和鲁棒性方面优于RANSAC、GTM和VTM，适用于多种复杂条件。

ABSTRACT

Reliable feature point matching is a vital yet challenging process in feature-based image registration. In this paper,a robust feature point matching algorithm called Recovery and Filtering Vertex Trichotomy Matching (RFVTM) is proposed to remove outliers and retain sufficient inliers for remote sensing images. A novel affine invariant descriptor called vertex trichotomy descriptor is proposed on the basis of that geometrical relations between any of vertices and lines are preserved after affine transformations, which is constructed by mapping each vertex into trichotomy sets. The outlier removals in Vertex Trichotomy Matching (VTM) are implemented by iteratively comparing the disparity of corresponding vertex trichotomy descriptors. Some inliers mistakenly validated by a large amount of outliers are removed in VTM iterations, and several residual outliers close to correct locations cannot be excluded with the same graph structures. Therefore, a recovery and filtering strategy is designed to recover some inliers based on identical vertex trichotomy descriptors and restricted transformation errors. Assisted with the additional recovered inliers, residual outliers can also be filtered out during the process of reaching identical graph for the expanded vertex sets. Experimental results demonstrate the superior performance on precision and stability of this algorithm under various conditions, such as remote sensing images with large transformations, duplicated patterns, or inconsistent spectral content.

研究动机与目标

• 解决由于大仿射变换、重复图案和光谱内容不一致导致的遥感图像中不可靠特征点匹配问题。
• 开发一种鲁棒的基于图的匹配方法，能够在刚性与非刚性形变（如剪切、旋转、缩放）下保持不变性。
• 通过迭代比较顶点三元组描述符的差异，检测并过滤异常值，从而减少误报并保留足够的内点。
• 在高异常值密度或伪同构图结构情况下，恢复因迭代异常值过滤而被错误移除的内点。
• 在极端条件下（如高异常值比例和复杂图像失真）提升匹配精度与稳定性。

提出的方法

• 通过基于其他点构成的直线与各特征点（顶点）的空间关系，将每个特征点映射为三元组集合，构建一种新型仿射不变描述符——顶点三元组描述符。
• 通过比较候选匹配对之间对应顶点三元组描述符的差异，迭代执行异常值检测。
• 引入一种恢复与过滤策略，用于恢复具有相同顶点三元组描述符且变换误差较小的内点，从而增强方法鲁棒性。
• 将恢复的内点扩展至顶点集合中，并重新应用过滤操作，以消除因伪同构图结构而残留的异常值。
• 通过将初始顶点集合划分为更小的组，优化算法复杂度，同时保持匹配性能。
• 在包含大变换、重复模式和光谱不匹配的多种真实遥感图像对上，对算法进行评估。

实验结果

研究问题

• RQ1 如何使特征匹配方法在遥感图像中对刚性与非刚性仿射变换均保持不变性？
• RQ2 在高异常值比例与重复图案存在的情况下，何种策略可有效过滤异常值并保留关键内点？
• RQ3 恢复机制是否能有效恢复在迭代异常值过滤过程中被错误移除的内点，尤其是在图结构为伪同构的情况下？
• RQ4 在极端图像失真条件下，所提方法与RANSAC、GTM和VTM相比，在精度与计算效率方面表现如何？
• RQ5 对初始顶点集合进行划分在多大程度上可提升计算效率而不降低匹配精度？

主要发现

• RFVTM在所有测试条件下均显著优于RANSAC、GTM和VTM，尤其在高异常值比例（如95%异常值）下表现更优。
• 随着异常值比例上升，RFVTM的平均执行时间增长速度慢于RANSAC与GTM，表明其在高噪声环境下具有更好的可扩展性。
• 在20个内点条件下，RFVTM在95%异常值比例下实现100%精度，而RANSAC与GTM在异常值比例超过55%后无法维持高精度。
• 对初始顶点进行分组可降低时间复杂度：当m=10组时，RFVTM平均运行速度比m=1快2.8倍，且性能损失极小（如仅19%内点损失，而VTM为22%）。
• 恢复与过滤策略显著降低了分组设置下的性能退化，平均保留87%的初始内点，而VTM在相同条件下仅保留65%。
• 在95%异常值比例下，RFVTM在10组图像对中有8组保持100%精度，展现出在极端情况下的卓越鲁棒性。