[论文解读] RIFT2: Speeding-up RIFT with A New Rotation-Invariance Technique

Jiayuan Li, Pengcheng Shi+2 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Image and Video Retrieval Techniques被引用 15

一句话总结

RIFT2 引入基于主导索引的旋转不变性，以替代 RIFT 的卷积序列环，实现相似的多模态匹配性能，计算和内存使用大约降低三分之一。

ABSTRACT

Multimodal image matching is an important prerequisite for multisource image information fusion. Compared with the traditional matching problem, multimodal feature matching is more challenging due to the severe nonlinear radiation distortion (NRD). Radiation-variation insensitive feature transform (RIFT)~\cite{li2019rift} has shown very good robustness to NRD and become a baseline method in multimodal feature matching. However, the high computational cost for rotation invariance largely limits its usage in practice. In this paper, we propose an improved RIFT method, called RIFT2. We develop a new rotation invariance technique based on dominant index value, which avoids the construction process of convolution sequence ring. Hence, it can speed up the running time and reduce the memory consumption of the original RIFT by almost 3 times in theory. Extensive experiments show that RIFT2 achieves similar matching performance to RIFT while being much faster and having less memory consumption. The source code will be made publicly available in \url{https://github.com/LJY-RS/RIFT2-multimodal-matching-rotation}

研究动机与目标

• 在非线性辐射失真（NRD）下推动更快的多模态特征匹配。
• 改进 RIFT 的旋转不变性机制，以降低计算成本和内存使用。
• 在降低描述子复杂度的同时，维持或尽可能接近 RIFT 的匹配性能。

提出的方法

• 对每个关键点仅复用一个 MIM，而不是由 Log-Gabor 卷积环生成的多个 MIM。
• 计算 MIM 直方图补丁并在直方图中识别主导索引。
• 基于主导索引重新编码 MIM，以在不使用卷积序列环的情况下实现旋转不变性。
• 若主导索引不具辨识性，则再创建一个使用第二高箱的第二个 MIM（增强稳定性）。
• 在 SAR-光学和红外-光学数据集上，使用固定的关键点数量和补丁大小，将 RIFT2 与 SIFT、PSO-SIFT、OS-SIFT 和 RIFT 进行对比。

Figure 1: The framework of RIFT, which contains detection, description, and matching.

实验结果

研究问题

• RQ1 基于主导性的直方图重新编码是否可以在不构建多个 MIM 的情况下提供旋转不变性？
• RQ2 主导索引技术在降低计算和内存的同时是否能维持 RIFT 水平的匹配精度？
• RQ3 在多模态 SAR-光学和红外-光学图像对上，RIFT2 相对于传统特征匹配器的表现如何？

主要发现

• RIFT2 通过避免 Log-Gabor 环和多个 MIM，显著降低运行时间和内存使用，且匹配性能几乎与 RIFT 相同。
• 在 SAR-光学数据上，RIFT2 的 RMSE 为 2.79，RIFT 为 3.12，且成功率为 96% vs 94%（RIFT）。
• 在 infrared-optical 数据上，RIFT2 的 RMSE 为 2.62，相比 RIFT 的 2.45，成功率为 97% 相比于 98%（RIFT）。
• 在这两个数据集中，RIFT2 显示出明显更高的正确匹配数量（约 110），而 PSO-SIFT 和 OS-SIFT 约为 7–10。
• RIFT2 将参考图像的描述子总量约降低 6 倍，在提升匹配速度的同时保持精度。

Figure 2: The relationship between histogram and different MIMs $\{MIM_{r}^{\omega}\}_{1}^{{6}}$ .