[论文解读] Revisiting Single Image Depth Estimation: Toward Higher Resolution Maps with Accurate Object Boundaries

Junjie Hu, Mete Özay+2 more|arXiv (Cornell University)|Mar 23, 2018

Advanced Vision and Imaging参考文献 56被引用 20

一句话总结

该论文提出了一种新颖的CNN架构，结合多尺度特征融合与多组件损失函数，以提升单幅图像的深度估计性能，生成更高分辨率的深度图并获得更清晰的物体边界。通过将编码器-解码器特征与精炼模块结合，并采用深度、梯度和表面法线损失进行训练，该方法在准确性方面优于当前最先进方法，尤其在细节与物体边缘方面表现更优。

ABSTRACT

This paper considers the problem of single image depth estimation. The employment of convolutional neural networks (CNNs) has recently brought about significant advancements in the research of this problem. However, most existing methods suffer from loss of spatial resolution in the estimated depth maps; a typical symptom is distorted and blurry reconstruction of object boundaries. In this paper, toward more accurate estimation with a focus on depth maps with higher spatial resolution, we propose two improvements to existing approaches. One is about the strategy of fusing features extracted at different scales, for which we propose an improved network architecture consisting of four modules: an encoder, decoder, multi-scale feature fusion module, and refinement module. The other is about loss functions for measuring inference errors used in training. We show that three loss terms, which measure errors in depth, gradients and surface normals, respectively, contribute to improvement of accuracy in an complementary fashion. Experimental results show that these two improvements enable to attain higher accuracy than the current state-of-the-arts, which is given by finer resolution reconstruction, for example, with small objects and object boundaries.

研究动机与目标

• 解决现有单幅图像深度估计方法中空间分辨率下降与物体边界模糊的问题。
• 通过在CNN架构中增强多尺度特征融合，提升深度图质量。
• 设计一种损失函数，更准确地捕捉边缘与边界信息，尤其针对深度图中的锐利不连续性。
• 实现端到端训练，无需后处理，从而实现对小型物体与物体轮廓的更精细重建。

提出的方法

• 提出四模块网络结构：编码器用于多尺度特征提取，解码器用于特征上采样，多尺度特征融合（MFF）模块用于融合不同分辨率的特征，以及用于最终预测的精炼模块。
• 采用跳跃连接与上采样层，以保留空间细节并实现高分辨率特征融合。
• 采用组合损失函数，包含深度损失、梯度损失与表面法线损失，以提升边缘与边界的重建质量。
• 在每个卷积层后应用批量归一化与ReLU激活函数，最终层除外，以稳定训练过程。
• 使用标准反向传播算法对整个网络进行端到端训练，无需后处理优化。
• 支持在编码器中使用多种主干网络（如ResNet、DenseNet、SENet），以提升灵活性并支持性能评估。

实验结果

研究问题

• RQ1 结合跳跃连接的多尺度特征融合是否能提升预测深度图的空间分辨率与边界准确性？
• RQ2 将深度损失、梯度损失与表面法线损失联合使用，是否能比仅使用深度损失获得更好的泛化能力与边缘保持效果？
• RQ3 所提出的损失函数与传统基于深度的指标相比，在评估边缘重建质量方面表现如何？
• RQ4 所提出的架构在NYU-Depth V2等基准数据集上，相较于最先进方法的性能提升程度如何？

主要发现

• 在NYU-Depth V2数据集上，该方法在使用完整损失函数时达到最先进性能，RMS误差为0.555，δ<1.25得分为0.843。
• 引入梯度损失与表面法线损失显著提升了边缘准确性，F1分数从仅使用深度损失的0.525提升至完整损失下的0.548。
• 视觉对比显示，与先前方法相比，该方法生成的物体边界更清晰，对小型结构（如瓶子与台灯罩）的恢复效果更优。
• 消融实验表明，完整损失函数在重建阶跃边缘与细节方面产生最精确的深度图。
• 在定量指标与视觉质量方面，该方法均优于先前最先进方法，尤其在边界重建与小型物体检测方面表现突出。
• 所提出的边缘准确性度量与视觉质量高度相关，验证了其在评估深度图保真度方面的有效性。