[论文解读] Towards Better Generalization: Joint Depth-Pose Learning without PoseNet

Wang Zhao, Shaohui Liu+2 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Vision and Imaging参考文献 66被引用 8

一句话总结

该论文提出了一种自监督联合深度-位姿学习框架，通过用基于光流的相对位姿估计和可微分两视角三角测量替代PoseNet，消除了尺度不一致问题，实现了尺度归一化的3D结构恢复。该方法显式地将深度尺度与三角化点云对齐，支持端到端训练，在KITTI、NYUv2和TUM-RGBD数据集上实现了最先进性能，尤其在长序列和无纹理区域等挑战性条件下表现出更优的泛化能力。

ABSTRACT

In this work, we tackle the essential problem of scale inconsistency for self-supervised joint depth-pose learning. Most existing methods assume that a consistent scale of depth and pose can be learned across all input samples, which makes the learning problem harder, resulting in degraded performance and limited generalization in indoor environments and long-sequence visual odometry application. To address this issue, we propose a novel system that explicitly disentangles scale from the network estimation. Instead of relying on PoseNet architecture, our method recovers relative pose by directly solving fundamental matrix from dense optical flow correspondence and makes use of a two-view triangulation module to recover an up-to-scale 3D structure. Then, we align the scale of the depth prediction with the triangulated point cloud and use the transformed depth map for depth error computation and dense reprojection check. Our whole system can be jointly trained end-to-end. Extensive experiments show that our system not only reaches state-of-the-art performance on KITTI depth and flow estimation, but also significantly improves the generalization ability of existing self-supervised depth-pose learning methods under a variety of challenging scenarios, and achieves state-of-the-art results among self-supervised learning-based methods on KITTI Odometry and NYUv2 dataset. Furthermore, we present some interesting findings on the limitation of PoseNet-based relative pose estimation methods in terms of generalization ability. Code is available at https://github.com/B1ueber2y/TrianFlow.

研究动机与目标

• 为解决自监督联合深度-位姿学习中的尺度不一致问题，该问题限制了性能与泛化能力，尤其是在长序列和室内环境中。
• 克服基于PoseNet的方法在复杂相机运动和视觉条件下泛化能力不足的局限性。
• 通过利用两视角几何与可微分三角测量，显式解耦尺度与网络估计，构建新系统。
• 通过端到端、尺度感知的训练，提升单目深度估计与视觉里程计任务的鲁棒性与准确性。

提出的方法

• 用直接相对位姿估计模块替代PoseNet架构，该模块从密集光流对应关系中计算基础矩阵。
• 引入可微分的两视角三角测量模块，从两帧连续图像中恢复尺度归一化的3D点云。
• 通过可学习的尺度变换，将预测深度图的尺度与三角化3D结构对齐。
• 利用对齐后的深度图进行深度误差计算与密集重投影一致性检查，实现端到端训练。
• 联合利用光度一致性与几何约束，无真实标签监督下监督深度与光流预测。
• 采用统一、可微分的流程，将光流、三角测量与深度监督整合于单一训练过程中。

实验结果

研究问题

• RQ1 用基于光流的相对位姿估计替代PoseNet是否能提升自监督深度-位姿学习中的泛化能力？
• RQ2 将深度与三角化3D结构之间的显式尺度对齐，对性能与鲁棒性有何影响？
• RQ3 在长序列和无纹理区域等挑战性视觉里程计场景下，该方法是否比基于PoseNet的基线方法泛化能力更强？
• RQ4 基于PoseNet的相对位姿估计在泛化能力与鲁棒性方面存在哪些局限性？
• RQ5 可微分的两视角三角测量模块是否能有效支持端到端自监督深度与位姿学习？

主要发现

• 所提方法在KITTI深度与光流估计基准上达到最先进性能，优于现有自监督方法。
• 在NYUv2数据集上，该方法实现相对误差（rel）为0.189，log10为0.079，显著优于基于PoseNet的基线方法，泛化能力更强。
• 在KITTI序列09与10的长序列视觉里程计任务中（大相机运动，步长=3），该方法保持了鲁棒的轨迹估计，而基于PoseNet的方法则失效。
• 在TUM-RGBD数据集上，该方法在无纹理区域、复杂运动与光照变化条件下均表现出良好泛化能力，优于基于PoseNet的基线方法与ORB-SLAM2。
• 消融实验证实，基于光流的位姿估计与显式尺度对齐对泛化能力提升均至关重要，完整系统在NYUv2上的δ < 1.25准确率达到0.701。
• 该方法在真实世界场景中表现出更优鲁棒性，包括室内环境与快速自运动场景，而传统自监督方法在此类场景中性能显著下降。