[论文解读] Visual Correspondence Hallucination

Hugo Germain, Vincent Lepetit+1 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Vision and Imaging被引用 5

一句话总结

本文提出 NeurHal，一种深度学习方法，可通过生成视觉对应关系——即使在目标图像中被遮挡或超出视野范围时也能预测关键点匹配。通过训练网络输出对应位置的尖峰概率分布，NeurHal 在未见场景中实现泛化，并在绝对相机位姿估计方面相比当前最先进局部特征匹配方法显著提升了鲁棒性。

ABSTRACT

Given a pair of partially overlapping source and target images and a keypoint in the source image, the keypoint's correspondent in the target image can be either visible, occluded or outside the field of view. Local feature matching methods are only able to identify the correspondent's location when it is visible, while humans can also hallucinate its location when it is occluded or outside the field of view through geometric reasoning. In this paper, we bridge this gap by training a network to output a peaked probability distribution over the correspondent's location, regardless of this correspondent being visible, occluded, or outside the field of view. We experimentally demonstrate that this network is indeed able to hallucinate correspondences on pairs of images captured in scenes that were not seen at training-time. We also apply this network to an absolute camera pose estimation problem and find it is significantly more robust than state-of-the-art local feature matching-based competitors.

研究动机与目标

• 探究神经网络是否可被训练以学习并预测在目标图像中不可见的视觉对应关系。
• 弥合人类般的几何推理与当前局部特征匹配方法之间的差距，后者在不可见区域会失效。
• 评估对应关系生成是否能提升绝对相机位姿估计的性能。
• 设计一种专为生成而非标准对应匹配而定制的新损失函数与网络架构。
• 展示在训练期间未见过的新场景中的泛化能力。

提出的方法

• 该方法 NeurHal 输入为一对部分重叠的源图像与目标图像，以及源图像中的一组关键点。
• 其输出为每个关键点在目标图像平面上的对应位置的概率分布，涵盖可见、遮挡和视野外的情况。
• 网络通过一种新型损失函数进行训练，该损失函数鼓励概率分布以真实对应点为中心形成尖峰，无论其是否可见。
• 网络架构通过几何推理设计，以同时处理内补（遮挡）和外补（视野外）场景。
• 训练使用来自合成场景和真实世界场景（包括 ScanNet 和 MegaDepth）的数据，以实现零样本泛化。
• 该方法通过训练分布和网络归纳偏差隐式利用几何先验知识。

实验结果

研究问题

• RQ1 能否训练深度神经网络以在遮挡或视野外区域生成视觉对应关系？
• RQ2 在泛化到训练期间未见的场景时，对应关系生成是否可行且有效？
• RQ3 与标准特征匹配相比，生成对应关系是否能提升绝对相机位姿估计的鲁棒性？
• RQ4 为实现生成而非标准匹配，需要哪些架构与损失函数设计选择？
• RQ5 失败案例是否与视觉模糊性、低重叠度或强相机旋转有关？

主要发现

• NeurHal 在 ScanNet 和 MegaDepth 的未见场景中成功生成对应关系，实现对训练数据的泛化。
• 即使对应点被遮挡或超出视野，网络仍能生成以真实对应点为中心的尖峰概率分布。
• 在绝对相机位姿估计任务中，NeurHal 表现优于当前最先进局部特征匹配方法，尤其在重叠度较低的图像对中优势明显。
• 失败案例主要与极低视觉重叠度、强相机旋转以及高图像模糊性相关。
• 该方法在室内（NYU）和室外（ETH3D）环境中均表现出鲁棒性，且在多种场景类型中保持一致的性能表现。
• 定性结果表明，NeurHal 在内补（遮挡）和外补（视野外）任务中均表现良好，即使在复杂情况下也能实现准确的定位。