[论文解读] Single-Image Depth Perception in the Wild

Weifeng Chen, Fu Zhao+2 more|arXiv (Cornell University)|Apr 13, 2016

Advanced Vision and Imaging参考文献 27被引用 98

一句话总结

本工作引入了 Depth in the Wild (DIW) 数据集，具有相对深度标注，并提出一个端到端的深度网络，利用相对深度监督从单幅图像预测度量深度，在野外图像上达到最新性能。

ABSTRACT

This paper studies single-image depth perception in the wild, i.e., recovering depth from a single image taken in unconstrained settings. We introduce a new dataset "Depth in the Wild" consisting of images in the wild annotated with relative depth between pairs of random points. We also propose a new algorithm that learns to estimate metric depth using annotations of relative depth. Compared to the state of the art, our algorithm is simpler and performs better. Experiments show that our algorithm, combined with existing RGB-D data and our new relative depth annotations, significantly improves single-image depth perception in the wild.

研究动机与目标

• 在无约束的真实世界场景（in the wild）中，激发从单幅图像进行深度估计的研究动机。
• 创建一个大规模数据集（Depth in the Wild），用于具有多样图像的相对深度标注。
• 开发一个端到端的深度网络，使用相对深度监督来预测度量深度。
• 证明将 DIW 与现有 RGB-D 数据结合能够提升野外深度估计的性能。

提出的方法

• 对49.5万张多样化的野外图像进行众包相对深度标注，每张图像采样一个点对。
• 提出一个端到端的深度网络，输出逐像素的度量深度，使用相对深度损失进行训练。
• 采用带跳跃连接的多尺度沙漏式架构，在不同尺度之间传播信息。
• 使用类似排序的损失进行训练，强制在所查询的点对上实现正确的排序和相等性。
• 在 NYU Depth（室内）和 DIW 数据集（野外）上进行评估，显示对现有方法的改进。

实验结果

研究问题

• RQ1 能否利用野外图像的相对深度标注从单幅图像学习出准确的度量深度？
• RQ2 在野外环境中，使用相对深度损失训练的端到端网络是否优于基于序关系的方法及 RGB-D 监督基线？
• RQ3 在 RGB-D 数据上的预训练并在 DIW 上进行微调如何影响对多样场景（室内和室外）的性能？

主要发现

• 所提出的方法在像素级深度预测上实现比先前方法更好的序关系一致性。
• 在 NYU Depth 上，该方法优于 Zoran 等人（序关系），并接近在完整度量数据上训练的 Eigen 深度估计。
• 在 Depth in the Wild 上，先在 NYU Depth 进行预训练再在 DIW 上微调可获得最佳的 WHDR 得分，在室外和室内场景上均显示出显著提升。
• 将现有 RGB-D 数据与 DIW 标注结合，显著提升野外单图像深度感知。
• 使用随机点对进行训练（而非超像素）在每张图像使用足够多的点对时可以达到甚至超过性能。