[论文解读] Multimodal matching using a Hybrid Convolutional Neural Network.

Elad Ben Baruch, Yosi Keller|arXiv (Cornell University)|Oct 30, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用 8

一句话总结

本文提出了一种统一的混合CNN架构，通过单次前向传播联合检测并匹配多模态图像中的特征点。通过将孪生CNN与双非权重共享CNN结合，该方法融合了共享和独特的图像线索，将匹配错误率降低了50–70%，并提升了SIFT和ORB的检测重复性。

ABSTRACT

In this work, we propose a novel Convolutional Neural Network (CNN) architecture for the joint detection and matching of feature points in images acquired by different sensors using a single forward pass. The resulting feature detector is tightly coupled with the feature descriptor, in contrast to classical approaches (SIFT, etc.), where the detection phase precedes and differs from computing the descriptor. Our approach utilizes two CNN subnetworks, the first being a Siamese CNN and the second, consisting of dual non-weight-sharing CNNs. This allows simultaneous processing and fusion of the joint and disjoint cues in the multimodal image patches. The proposed approach is experimentally shown to outperform contemporary state-of-the-art schemes when applied to multiple datasets of multimodal images by reducing the matching errors by 50\%-70\% compared with previous works. It is also shown to provide repeatable feature points detections across multi-sensor images, outperforming state-of-the-art detectors such as SIFT and ORB. To the best of our knowledge, it is the first unified approach for the detection and matching of such images.

研究动机与目标

• 为解决在不同传感器（如可见光与红外）图像之间匹配特征点的挑战。
• 将特征检测与描述子计算统一为一个端到端学习框架，克服SIFT等经典两阶段方法的局限性。
• 与最先进方法相比，提升多模态图像对中的匹配准确率与检测重复性。
• 通过一种新型CNN架构，实现在处理过程中同时融合共享（联合）与非共享（传感器特异）图像线索。

提出的方法

• 该方法采用孪生CNN子网络处理来自不同传感器的图像块对，实现联合特征学习。
• 第二个子网络使用双非权重共享CNN，以提取传感器特异性特征，实现对模态特异性信息的独立处理。
• 将两个子网络的输出进行融合，生成用于检测与匹配的统一特征表示。
• 整个网络采用端到端训练，以在单次前向传播中同时优化检测与匹配性能。
• 该架构设计为紧密耦合，检测与描述子学习并行进行，而非顺序执行。

实验结果

研究问题

• RQ1 单一深度学习模型是否能有效在多模态图像中实现特征检测与匹配，而无需分离的检测与描述阶段？
• RQ2 在多模态设置中，检测与描述的联合学习如何提升匹配准确率？
• RQ3 融合共享与非共享图像线索在多传感器间在多大程度上提升了特征匹配性能？
• RQ4 在多模态数据上，该方法在检测重复性方面与SIFT和ORB等经典检测器相比表现如何？

主要发现

• 在多个多模态数据集上，与最先进方法相比，所提方法将匹配错误率降低了50–70%。
• 在多传感器图像对中，其检测重复性高于SIFT和ORB，表现出对传感器差异的鲁棒性。
• 联合检测与匹配框架通过统一的端到端方式学习检测与描述子，优于经典两阶段方法。
• 采用双非权重共享CNN有效建模了模态特异性特征，同时保持了跨模态对齐。