[论文解读] PackNet-SfM: 3D Packing for Self-Supervised Monocular Depth Estimation.

Vitor Guizilini, Rareş Ambruş+2 more|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging被引用 26

一句话总结

PackNet-SfM 提出了一种新颖的用于单目视频自监督单目深度估计的3D打包与解包架构，引入了速度监督损失，实现了无需推理时缩放的度量深度预测。其在KITTI数据集上达到了最先进性能，优于所有仅使用单目视频训练的方法，并与立体相机训练的模型相当。

ABSTRACT

Densely estimating the depth of a scene from a single image is an ill-posed inverse problem that is seeing exciting progress with self-supervision from strong geometric cues, in particular from training using stereo imagery. In this work, we investigate the more challenging structure-from-motion (SfM) setting, learning purely from monocular videos. We propose PackNet - a novel deep architecture that leverages new 3D packing and unpacking blocks to effectively capture fine details in monocular depth map predictions. Additionally, we propose a novel velocity supervision loss that allows our model to predict metrically accurate depths, thus alleviating the need for test-time ground-truth scaling. We show that our proposed scale-aware architecture achieves state-of-the-art results on the KITTI benchmark, significantly improving upon any approach trained on monocular video, and even achieves competitive performance to stereo-trained methods.

研究动机与目标

• 为解决从单目视频进行自监督单目深度估计的挑战，该方法缺乏立体监督的几何约束。
• 通过一种新颖的3D打包与解包机制，提升单幅图像深度预测中的细粒度深度细节捕捉能力。
• 实现无需推理时真实深度缩放的度量深度预测，解决自监督单目方法中的一个主要限制。
• 缩小单目视频训练与立体相机训练的深度估计模型之间的性能差距。

提出的方法

• 引入3D打包与解包模块，跨空间、通道和深度维度处理特征图，以增强特征表示并恢复细节。
• 采用基于单目视频运动一致性的新颖速度监督损失，实现无需推理时缩放的度量尺度深度预测。
• 利用单目视频序列中的运动恢复结构（SfM）线索，在训练期间提供几何监督。
• 采用多尺度编码器-解码器架构并结合3D打包，以建模长距离依赖关系并保留深度图中的精细细节。
• 通过可微分的图像扭曲层应用逆深度监督，以在视频帧之间强制保持光度一致性。
• 通过结合深度监督、光度一致性以及基于速度的度量校准来优化网络。

实验结果

研究问题

• RQ1 仅基于视频序列训练的自监督单目深度模型能否在无立体监督的情况下实现最先进性能？
• RQ2 与标准2D特征处理相比，3D打包与解包在捕捉深度图中细粒度细节方面的有效性如何？
• RQ3 基于速度的监督能否实现无需推理时缩放或深度监督的度量深度预测？
• RQ4 所提方法在多大程度上缩小了单目视频训练与立体相机训练的深度估计模型之间的性能差距？

主要发现

• PackNet-SfM 在仅使用单目视频训练的模型中，于KITTI基准上实现了最先进深度估计性能。
• 该模型在绝对相对误差（Abs Rel）、平方相对误差（Sq Rel）和均方根误差（RMSE）方面显著优于以往的单目视频自监督方法。
• 速度监督损失使无需推理时缩放即可实现度量深度预测，消除了自监督方法中常见的误差来源。
• 3D打包与解包模块提升了特征表示能力并保留了细粒度细节，尤其在存在深度不连续性的复杂场景中表现更优。
• 该模型与立体相机训练的方法相比表现出具有竞争力的性能，证明了单目视频在实现高质量深度估计方面的潜力。