[论文解读] Single View Stereo Matching

Yue Luo, Jimmy Ren+5 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Vision and Imaging参考文献 34被引用 15

一句话总结

本文提出了一种新颖的单目立体匹配框架，将单目深度估计分解为视图合成与立体匹配两部分，从而在推理过程中显式引入几何约束。该方法在极少量真实标注数据下端到端训练，于KITTI数据集上取得了最先进性能，甚至超越了传统的立体匹配块匹配算法。

ABSTRACT

Previous monocular depth estimation methods take a single view and directly regress the expected results. Though recent advances are made by applying geometrically inspired loss functions during training, the inference procedure does not explicitly impose any geometrical constraint. Therefore these models purely rely on the quality of data and the effectiveness of learning to generalize. This either leads to suboptimal results or the demand of huge amount of expensive ground truth labelled data to generate reasonable results. In this paper, we show for the first time that the monocular depth estimation problem can be reformulated as two sub-problems, a view synthesis procedure followed by stereo matching, with two intriguing properties, namely i) geometrical constraints can be explicitly imposed during inference; ii) demand on labelled depth data can be greatly alleviated. We show that the whole pipeline can still be trained in an end-to-end fashion and this new formulation plays a critical role in advancing the performance. The resulting model outperforms all the previous monocular depth estimation methods as well as the stereo block matching method in the challenging KITTI dataset by only using a small number of real training data. The model also generalizes well to other monocular depth estimation benchmarks. We also discuss the implications and the advantages of solving monocular depth estimation using stereo methods.

研究动机与目标

• 为解决单目深度估计严重依赖昂贵的真实深度数据且缺乏显式几何约束的问题。
• 通过将单目深度估计重新构型为两阶段问题（视图合成后接立体匹配），以提升泛化能力与性能。
• 在仅使用少量真实标注数据的前提下实现端到端训练，同时通过显式建模变换关系保持几何正确性。
• 证明单目方法可在精度上超越传统的立体匹配算法。

提出的方法

• 该方法将单目深度估计分解为两个子问题：视图合成（生成合成右视图）与立体匹配（估计左视图与合成右视图之间的视差）。
• 通过可微渲染过程与概率性视差图作为监督信号，训练视图合成网络，从单张输入图像生成逼真的右视图。
• 立体匹配网络利用原始视图与合成视图的特征进行代价体聚合与视差回归，强制实现几何一致性。
• 整个流水线通过合成数据与少量真实标注数据联合训练，实现端到端优化。
• 通过可微渲染与立体匹配损失函数，在两个网络中显式嵌入几何约束。
• 该方法利用视图合成与立体匹配本身均遵循几何原理的特性，从而提升鲁棒性与准确性。

实验结果

研究问题

• RQ1 能否通过合成视图将单目深度估计有效重构为立体匹配问题？
• RQ2 能否在不依赖大规模真实深度标注的前提下，在推理过程中显式施加几何约束？
• RQ3 视图合成与立体匹配的两阶段流水线是否能超越端到端的单目深度估计方法？
• RQ4 仅使用少量真实深度标签，性能可提升至何种程度？
• RQ5 单目方法是否能在精度上超越传统立体匹配算法（如块匹配）？

主要发现

• 所提方法在KITTI 2015测试集上达到D1-all误差为24.44%，优于所有先前的单目深度估计方法。
• 这是首个在整体精度上超越立体块匹配方法（OCV-BM）的单目方法，D1-all为24.44%，优于OCV-BM的25.27%。
• 即使未使用任何真实KITTI视差标签，该方法仍达到D1-all为25.18%，展现出强大的零样本泛化能力。
• 仅用700个真实KITTI样本进行微调，性能即显著提升，超越了使用极少真实数据的最先进方法。
• 该方法在其他基准上也表现出良好泛化能力，经KITTI微调后，在Cityscapes与Make3D数据集上均生成高质量结果。
• 视图合成网络生成的原始视差图性能较差（D1-all ≈ 30%），表明通过立体匹配进行最终优化至关重要。