[论文解读] Neighbourhood Consensus Networks

Ignacio Rocco, Mircea Cimpoi+4 more|arXiv (Cornell University)|Oct 24, 2018

Transportation and Mobility Innovations被引用 153

一句话总结

NC-Net 提出了一种在全量密集图像对应集合上可训练的邻域一致性机制，以在没有全局几何模型的情况下消除匹配歧义，采用弱监督训练，在类别级和实例级匹配（PF-Pascal 与 InLoc）上达到最先进的结果。

ABSTRACT

We address the problem of finding reliable dense correspondences between a pair of images. This is a challenging task due to strong appearance differences between the corresponding scene elements and ambiguities generated by repetitive patterns. The contributions of this work are threefold. First, inspired by the classic idea of disambiguating feature matches using semi-local constraints, we develop an end-to-end trainable convolutional neural network architecture that identifies sets of spatially consistent matches by analyzing neighbourhood consensus patterns in the 4D space of all possible correspondences between a pair of images without the need for a global geometric model. Second, we demonstrate that the model can be trained effectively from weak supervision in the form of matching and non-matching image pairs without the need for costly manual annotation of point to point correspondences. Third, we show the proposed neighbourhood consensus network can be applied to a range of matching tasks including both category- and instance-level matching, obtaining the state-of-the-art results on the PF Pascal dataset and the InLoc indoor visual localization benchmark.

研究动机与目标

• 通过利用局部邻域一致性模式来消除具有挑战性的密集图像匹配中的歧义。
• 消除在密集匹配中对显式全局几何模型的需求。
• 证明仅使用图像对标签的弱监督即可实现有效训练。
• 展示对类别级和实例级匹配任务的适用性。
• 提供一个可扩展的密集匹配框架，可和姿态估计、语义对齐等下游任务对接。

提出的方法

• 使用一个 CNN 主干为两张图像计算密集特征描述子。
• 构建两张图像之间所有成对特征相似性的 4-D 相关性映射 c。
• 应用 4-D 邻域一致性 CNN N(·) 来学习在 4-D 匹配空间中的局部几何模式。
• 应用软互为最近邻筛选 M(·) 以强制执行软性全局互惠约束。
• 通过基于 soft-max 的方向分数 s^A 和 s^B 提取对应关系，从而获得点对点匹配。
• 使用弱监督损失端到端训练，通过平均分配的匹配分数区分正图像对和负图像对。

实验结果

研究问题

• RQ1 在没有全局几何模型的情况下，4-D 卷积网络能否学习邻域一致性模式以实现可靠的密集匹配？
• RQ2 是否可以仅使用图像对级别的弱监督来训练这类网络，而非密集的逐点标注？
• RQ3 基于密集、邻域一致性的匹配是否能在类别级和实例级匹配任务上提升性能？
• RQ4 学习到的密集对应关系是否能提升下游任务，如室内定位和语义关键点转移？

主要发现

• NC-Net 架构在全密集匹配集合中学习局部邻域模式，并在没有全局模型的情况下产生可靠的密集对应。
• 该模型可以从头开始使用图像对标签的弱监督进行训练，避免代价高昂的逐点标注。
• NC-Net 在类别级 PF-Pascal 上达到最先进的结果，并在 InLoc 基准测试中提升了实例级室内定位。
• 将 NC-Net 纳入 InLoc 流程可在定位性能上优于包括稀疏关键点匹配和先前基于 CNN 的匹配方法等基线。
• 软互为最近邻筛选提供了一种可微分的方式，在训练和推理阶段强制执行软性全局互惠约束。
• 该方法通过提供鲁棒的密集对应关系，支持密集姿态估计等任务和语义关键点转移。