[论文解读] RF-Net: An End-to-End Image Matching Network based on Receptive Field

Xuelun Shen, Cheng Wang+6 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 33被引用 6

一句话总结

本文提出RF-Net，一种端到端可训练的图像匹配网络，通过基于感受野的响应图增强关键点检测，并引入一种新型邻域掩码损失项以改进描述符训练。该方法在HPatches和EF数据集基准测试中达到最先进性能，匹配准确率相较之前方法最高提升35%。

ABSTRACT

This paper proposes a new end-to-end trainable matching network based on receptive field, RF-Net, to compute sparse correspondence between images. Building end-to-end trainable matching framework is desirable and challenging. The very recent approach, LF-Net, successfully embeds the entire feature extraction pipeline into a jointly trainable pipeline, and produces the state-of-the-art matching results. This paper introduces two modifications to the structure of LF-Net. First, we propose to construct receptive feature maps, which lead to more effective keypoint detection. Second, we introduce a general loss function term, neighbor mask, to facilitate training patch selection. This results in improved stability in descriptor training. We trained RF-Net on the open dataset HPatches, and compared it with other methods on multiple benchmark datasets. Experiments show that RF-Net outperforms existing state-of-the-art methods.

研究动机与目标

• 开发一种端到端可训练的图像匹配流程，联合优化关键点检测与特征描述符学习。
• 解决联合训练鲁棒检测器与描述符的挑战，避免因单独优化各组件而导致的性能下降。
• 通过基于逐步增大感受野的响应图而非抽象特征图来构建响应图，提升关键点检测性能。
• 通过引入邻域掩码损失项，减少patch采样中的模糊性，从而稳定描述符训练。
• 在不依赖手工设计组件或预训练检测器的前提下，实现最先进匹配性能。

提出的方法

• 提出一种基于感受野的检测器（RF-Det），利用感受野逐步扩大的特征图构建响应图，提升关键点定位精度。
• 采用共享权重的Siamese网络架构处理图像对，并端到端联合训练整个网络。
• 引入邻域掩码损失项，在描述符学习过程中通过掩蔽邻近关键点来减少假阴性。
• 采用两步训练策略：每轮迭代中对描述符训练两次，对检测器训练一次，以提升描述符质量与检测器泛化能力。
• 通过卷积层逐步增大卷积核大小与步长，系统性地扩展每个响应图的感受野。
• 在测试集上采用最近邻距离比匹配策略，阈值设为0.7以评估匹配性能。

实验结果

研究问题

• RQ1 基于感受野的响应图是否能在端到端匹配网络中提升关键点检测性能？
• RQ2 邻域掩码损失项是否能减少标注模糊性，并在训练中提升描述符泛化能力？
• RQ3 端到端可训练网络是否能在不依赖手工设计检测器的前提下，超越现有最先进方法的图像匹配性能？
• RQ4 响应层数量如何影响基于感受野的检测器性能？
• RQ5 在端到端框架中，描述符质量在多大程度上影响检测器训练？

主要发现

• 在HPatches-10序列上，RF-Net相较最接近的竞争对手实现了35%的相对准确率提升，创下新最先进水平。
• 与次佳方法相比，RF-Det检测器在HPatches三个序列上的匹配性能分别提升了11%、20%和35%。
• 邻域掩码损失项显著提升了描述符鲁棒性，消融实验证明其在包含时表现出明显性能增益。
• RF-Net检测器在所有序列上的重复性均高于LF-Net，证明了感受野设计的有效性。
• 定性结果表明，与SIFT、FAST+Hard-Net和LF-Net相比，RF-Net在具有挑战性的图像对上产生了更多正确匹配（绿色线）和更少错误匹配（红色线）。
• RF-Net性能在N=8个响应层时趋于饱和，且从N=3开始与LF-Net保持一致的性能差距，并随N增加而扩大。