[论文解读] Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment

Yunxiao Shi, Jing Zhu+3 more|arXiv (Cornell University)|Sep 28, 2019

Advanced Vision and Imaging参考文献 61被引用 9

一句话总结

本文提出一种自监督方法，通过可微分束调整（BA）层实现单目深度与自身运动估计，该层通过特征-度量误差最小化来强制执行多视角几何约束。通过将可微分BA集成到使用光度一致性损失进行端到端训练的网络中，该方法在KITTI和Cityscapes数据集上实现了最先进性能，优于所有单目自监督方法以及基于立体的有监督方法。

ABSTRACT

Learning to predict scene depth and camera motion from RGB inputs only is a challenging task. Most existing learning based methods deal with this task in a supervised manner which require ground-truth data that is expensive to acquire. More recent approaches explore the possibility of estimating scene depth and camera pose in a self-supervised learning framework. Despite encouraging results are shown, current methods either learn from monocular videos for depth and pose and typically do so without enforcing multi-view geometry constraints between scene structure and camera motion, or require stereo sequences as input where the ground-truth between-frame motion parameters need to be known. In this paper we propose to jointly optimize the scene depth and camera motion via incorporating differentiable Bundle Adjustment (BA) layer by minimizing the feature-metric error, and then form the photometric consistency loss with view synthesis as the final supervisory signal. The proposed approach only needs unlabeled monocular videos as input, and extensive experiments on the KITTI and Cityscapes dataset show that our method achieves state-of-the-art results in self-supervised approaches using monocular videos as input, and even gains advantage to the line of methods that learns from calibrated stereo sequences (i.e. with pose supervision).

研究动机与目标

• 解决从无标注单目视频中学习深度与自身运动而无需真实监督的挑战。
• 在自监督框架中强制执行3D场景结构与相机运动之间的多视角几何一致性。
• 通过引入可微分BA，将场景结构与运动的误差反向传播，从而改进结构-运动恢复（SfM）任务中的特征学习。
• 实现与依赖真实姿态监督的立体方法相当的性能。

提出的方法

• 该方法使用可微分束调整（BA）层，通过最小化多视角图像特征之间的特征-度量误差，联合优化深度与相机位姿。
• 通过固定迭代次数并使用多层感知机（MLP）预测阻尼因子λ，使BA层可微分，从而替代Levenberg-Marquardt算法中的不可微逻辑。
• 图像特征由共享编码器提取，并作为输入送入可微分BA层，该层输出每个像素的优化深度及4×4相机运动变换矩阵。
• 通过使用优化后的深度与位姿进行可微分图像扭曲，构建光度一致性损失，从而实现端到端训练。
• 网络在仅使用无标注数据的单目视频序列上进行训练，无需真实深度或位姿监督。
• 该框架假设已知相机内参，但无需标注深度或位姿数据，从而实现完全自监督学习。

实验结果

研究问题

• RQ1 可微分束调整是否能通过强制执行多视角几何约束，提升从单目视频中进行自监督深度与自身运动估计的性能？
• RQ2 与光度或几何BA相比，引入特征-度量BA在特征学习与性能方面有何差异？
• RQ3 自监督单目方法能否实现与依赖真实姿态监督的立体方法相当的性能？
• RQ4 可微分BA层在多大程度上增强了对3D场景结构与运动估计的特征表示？

主要发现

• 所提方法在KITTI 2015和Cityscapes基准上，作为自监督单目方法达到了最先进性能。
• 在KITTI里程计分割中，该方法在序列09上取得0.012 ± 0.007的绝对轨迹误差（ATE），在序列10上取得0.011 ± 0.007，优于ORB-SLAM（短）版本，并与完整ORB-SLAM性能相当。
• 该方法始终优于以往的无监督单目方法，甚至超越了部分使用真实姿态监督的立体方法。
• 定性结果表明，即使在存在运动物体的动态场景中，也能稳健预测细长结构（如电线杆和路标）。
• 在KITTI上微调Cityscapes预训练模型可进一步提升性能，表明其在不同领域间具有强大的泛化能力。
• 可微分BA层实现了几何约束的有效反向传播，从而提升了特征学习质量，并改善了深度与位姿估计性能。