[论文解读] PN-Net: Conjoined Triple Deep Network for Learning Local Image Descriptors

Vassileios Balntas, Edward Johns+2 more|arXiv (Cornell University)|Jan 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 17被引用 155

一句话总结

PN-Net 通过一个联合三元组 CNN 与 SoftPN 损失学习紧凑的局部图像描述子，在快速提取与提升的匹配准确度方面优于先前基于 CNN 的描述子。它训练迅速（≈每个 epoch 约 2 分钟），并使用适合快速最近邻匹配的低维（≈128-D）描述子。

ABSTRACT

In this paper we propose a new approach for learning local descriptors for matching image patches. It has recently been demonstrated that descriptors based on convolutional neural networks (CNN) can significantly improve the matching performance. Unfortunately their computational complexity is prohibitive for any practical application. We address this problem and propose a CNN based descriptor with improved matching performance, significantly reduced training and execution time, as well as low dimensionality. We propose to train the network with triplets of patches that include a positive and negative pairs. To that end we introduce a new loss function that exploits the relations within the triplets. We compare our approach to recently introduced MatchNet and DeepCompare and demonstrate the advantages of our descriptor in terms of performance, memory footprint and speed i.e. when run in GPU, the extraction time of our 128 dimensional feature is comparable to the fastest available binary descriptors such as BRIEF and ORB.

研究动机与目标

• 推动学习基于 CNN 的局部描述子，降低训练和执行时间。
• 开发一个基于三元组的网络（PN-Net），利用三元组中的正/负约束。
• 引入 SoftPN 损失，利用正负关系而无需大量的困难负样本挖掘。
• 实现以低维描述子和快速推断达到有竞争力或优越的匹配性能。

提出的方法

• 使用一个两分支 CNN，为图像块计算 D(p) 描述子，而不使用显式距离度量层。
• 在三元组 {p1, p2, n} 上训练，其中 p1 和 p2 来自同一 3D 点，n 来自不同的点。
• 引入 SoftPN 损失，促使三元组中最小的负距离超过正距离。
• 在相同底层 CNN 的基础上，针对基于孪生结构的方法（如 MatchNet、DeepCompare）进行比较。
• 提供一个紧凑的网络（两层卷积），生成 128- 或 256-D 描述子并支持 GPU 加速。
• 不使用数据增强；训练使用来自 Patch 数据（Liberty/Yosemite/Notredame）的实时三元组。

实验结果

研究问题

• RQ1 基于三元组的 CNN 结合 SoftPN 损失是否能提升局部描述子与对比（孪生）CNN 方法相比的匹配性能？
• RQ2 PN-Net 是否能够以低维描述子和快速的训练/提取时间实现具有竞争力的匹配精度？
• RQ3 所提出的 SoftPN 损失在收敛性和性能方面，与 hinge embedding 和 SoftMax 比例相比如何？
• RQ4 PN-Net 在跨数据集（Liberty、Notredame、Yosemite）和 Oxford 基准测试上的泛化特性是什么？

主要发现

• SoftPN 损失结合三元组训练在匹配精度上优于 hinge 损失和基于 SoftMax 的三元组损失。
• PN-Net 在生成紧凑的 128 或 256-D 描述子的同时达到最先进或具有竞争力的性能。
• 训练快速（在 Titan X 上每个 epoch 约 2 分钟），GPU 上的描述子提取在速度上可与快速二进制描述子相比。
• 相比其他基于 CNN 的描述子，该方法减少了内存占用和训练时间，同时保持或提升准确性。
• 跨数据集（Liberty、Notredame、Oxford）的泛化能力强，观察到较好的跨数据集迁移。
• 该方法实现了能实时执行的描述子提取，适用于大规模匹配任务。