[论文解读] SCNet: Learning Semantic Correspondence

Kai Han, Rafael Sampaio de Rezende+5 more|arXiv (Cornell University)|May 11, 2017

Advanced Image and Video Retrieval Techniques被引用 24

一句话总结

SCNet 提出了一种深度卷积神经网络，通过联合建模外观一致性和几何一致性，利用区域提议作为匹配基元来学习语义对应关系。它在多个基准测试中优于手工设计特征方法和近期的深度学习架构，在损失函数中显式强制执行几何一致性，实现了最先进性能。

ABSTRACT

This paper addresses the problem of establishing semantic correspondences between images depicting different instances of the same object or scene category. Previous approaches focus on either combining a spatial regularizer with hand-crafted features, or learning a correspondence model for appearance only. We propose instead a convolutional neural network architecture, called SCNet, for learning a geometrically plausible model for semantic correspondence. SCNet uses region proposals as matching primitives, and explicitly incorporates geometric consistency in its loss function. It is trained on image pairs obtained from the PASCAL VOC 2007 keypoint dataset, and a comparative evaluation on several standard benchmarks demonstrates that the proposed approach substantially outperforms both recent deep learning architectures and previous methods based on hand-crafted features.

研究动机与目标

• 为解决在存在显著外观和空间变化的图像之间建立语义对应关系的挑战。
• 克服先前深度学习方法在训练过程中忽略几何一致性的局限性。
• 开发一种端到端可训练的卷积神经网络，同时利用外观和几何约束以实现鲁棒的对应关系学习。
• 在标准基准测试中，证明其性能优于手工设计特征方法和近期深度学习架构。

提出的方法

• SCNet 使用选择性搜索生成的区域提议作为匹配基元，而非密集像素级匹配。
• 它采用深度卷积神经网络从区域提议中提取特征以实现匹配，支持端到端训练。
• 通过强制匹配区域之间的双向一致性，在损失函数中显式引入几何一致性。
• 在 PASCAL VOC 2007 关键点数据集的图像对上进行训练，包含真实对应关系。
• 网络架构包含多个变体：SCNet-A、SCNet-AG 和 SCNet-AG+，其差异在于特征融合和几何正则化策略。
• 通过可微分损失函数强制执行区域间不一致的前向和后向映射。

实验结果

研究问题

• RQ1 是否一种同时优化外观和几何一致性的深度学习模型能够优于现有语义对应方法？
• RQ2 在损失函数中显式建模几何一致性是否能提升在大范围外观和布局变化下的匹配鲁棒性？
• RQ3 当在 PASCAL VOC 上训练时，SCNet 在零样本迁移设置（如 PF-WILLOW 数据集）上的表现如何？
• RQ4 与密集像素匹配相比，区域提议是否能作为学习语义对应关系的有效基元？

主要发现

• 在 PF-PASCAL 数据集上，SCNet-AG+ 的 PCK 得分为 72.2，显著优于 UCN（55.6）和文献 [11] 中的所有方法。
• 在 PF-WILLOW 数据集上，SCNet-AG+ 的 PCK 达到 66.3，优于 UCN 和所有使用手工设计或学习特征的先前方法。
• 在 PASCAL Parts 上，SCNet-AG+ 达到最高的 IoU 得分 0.48，超越所有基线方法，包括在 PCK 上表现最佳的 FCSS w/PF。
• 在 Caltech-101 上，尽管未在该数据集上进行训练，SCNet 仍取得了具有竞争力的结果，并达到最先进性能。
• 消融实验表明，几何一致性损失显著提升了性能，尤其是在处理大范围变化和杂乱背景时。
• SCNet 展现出强大的零样本泛化能力，在未微调的情况下于 PF-WILLOW 上取得优异结果，表明其具备有效的特征学习能力。