[论文解读] Structure-Aware Residual Pyramid Network for Monocular Depth Estimation

Xiaotian Chen, Xuejin Chen+1 more|arXiv (Cornell University)|Jul 13, 2019

Advanced Vision and Imaging参考文献 11被引用 12

一句话总结

该论文提出了一种结构感知残差金字塔网络（SARPN），用于单目深度估计，通过自粗到精的解码策略显式建模多尺度场景结构。通过将残差金字塔解码器（RPD）与残差精炼模块（RRM）及自适应密集特征融合（ADFF）模块相结合，SARPN在多个尺度上逐步精炼深度图，在NYU-Depth v2数据集上实现了最先进性能，显著提升了大平面区域与细粒度物体细节的预测精度。

ABSTRACT

Monocular depth estimation is an essential task for scene understanding. The underlying structure of objects and stuff in a complex scene is critical to recovering accurate and visually-pleasing depth maps. Global structure conveys scene layouts, while local structure reflects shape details. Recently developed approaches based on convolutional neural networks (CNNs) significantly improve the performance of depth estimation. However, few of them take into account multi-scale structures in complex scenes. In this paper, we propose a Structure-Aware Residual Pyramid Network (SARPN) to exploit multi-scale structures for accurate depth prediction. We propose a Residual Pyramid Decoder (RPD) which expresses global scene structure in upper levels to represent layouts, and local structure in lower levels to present shape details. At each level, we propose Residual Refinement Modules (RRM) that predict residual maps to progressively add finer structures on the coarser structure predicted at the upper level. In order to fully exploit multi-scale image features, an Adaptive Dense Feature Fusion (ADFF) module, which adaptively fuses effective features from all scales for inferring structures of each scale, is introduced. Experiment results on the challenging NYU-Depth v2 dataset demonstrate that our proposed approach achieves state-of-the-art performance in both qualitative and quantitative evaluation. The code is available at https://github.com/Xt-Chen/SARPN.

研究动机与目标

• 为解决单目深度估计中同时保持全局场景布局与局部几何细节的挑战。
• 在深度学习框架中显式建模分层场景结构——全局用于大平面区域，局部用于物体细节。
• 通过在多个尺度上利用残差图逐步精炼粗粒度深度图，提升深度预测精度。
• 通过自适应选择各层级精炼所需的特征，提升跨尺度的特征融合效果。
• 在NYU-Depth v2基准上实现定量指标与视觉质量的最先进性能。

提出的方法

• 设计了一种残差金字塔解码器（RPD），用于在多个尺度上预测深度图，其中高层表示全局场景结构，低层捕捉局部形状细节。
• 在每个尺度上引入残差精炼模块（RRM），用于预测残差深度图，逐步在高层粗粒度预测的基础上叠加更精细的细节。
• 自适应密集特征融合（ADFF）模块动态融合编码器输出的多尺度特征，以指导各尺度上的残差预测，提升特征利用效率。
• 网络采用编码器-解码器架构并结合跳跃连接，主干网络为基于SENet的特征提取器。
• 损失函数结合标准深度回归损失（如RMSE、REL、log10），以同时优化全局布局与局部细节的准确性。
• 模型在NYU-Depth v2上端到端训练，并在NYU-Depth v2及泛化性测试集（ScanNet、SUN-RGBD）上进行评估。

实验结果

研究问题

• RQ1 深度网络能否有效建模多尺度场景结构以提升单目深度估计性能？
• RQ2 跨尺度的残差精炼在恢复大平面区域与细粒度物体细节方面有何增强作用？
• RQ3 在多个尺度上进行自适应特征融合在多大程度上能提升深度预测性能？
• RQ4 显式建模场景结构是否能提升模型在多样化真实场景中的泛化能力？
• RQ5 与最先进方法相比，该方法在保持几何结构与边缘细节方面表现如何？

主要发现

• 在NYU-Depth v2数据集上，SARPN实现了相对误差（REL）0.554、均方根误差（RMS）0.749以及log10误差0.630，优于先前最先进方法。
• 在所有阈值下，边缘像素精度的F1分数均超过所有基线模型，表明其在保留细粒度结构细节方面表现更优。
• 在基线模型中加入RPD模块后，REL误差降低6.5%，RMS降低3.5%，证明其具有显著影响。
• 进一步集成ADFF模块后，REL降低3.5%，RMS降低2.7%，证实其在特征融合中的有效性。
• 该模型在未见数据集（如ScanNet与SUN-RGBD）上泛化良好，能成功恢复大平面区域与物体细节。
• 基于预测深度图生成的3D点云重建结果表明，SARPN能更好保持大面墙的平整性，并减少其他方法常见的失真现象。