[论文解读] Unsupervised Joint Learning of Depth, Optical Flow, Ego-motion from Video

Jianfeng Li, Junqiao Zhao+2 more|arXiv (Cornell University)|May 30, 2021

Advanced Vision and Imaging参考文献 19被引用 4

一句话总结

该论文提出了一种自监督框架，用于从视频中联合估计深度、光流和相机位姿，通过新颖的基于注意力的位姿网络、动态物体掩码和对极几何约束提升精度。在KITTI基准测试中实现了最先进性能，尤其在光流和位姿估计方面表现突出，深度估计结果也具有竞争力。

ABSTRACT

Estimating geometric elements such as depth, camera motion, and optical flow from images is an important part of the robot's visual perception. We use a joint self-supervised method to estimate the three geometric elements. Depth network, optical flow network and camera motion network are independent of each other but are jointly optimized during training phase. Compared with independent training, joint training can make full use of the geometric relationship between geometric elements and provide dynamic and static information of the scene. In this paper, we improve the joint self-supervision method from three aspects: network structure, dynamic object segmentation, and geometric constraints. In terms of network structure, we apply the attention mechanism to the camera motion network, which helps to take advantage of the similarity of camera movement between frames. And according to attention mechanism in Transformer, we propose a plug-and-play convolutional attention module. In terms of dynamic object, according to the different influences of dynamic objects in the optical flow self-supervised framework and the depth-pose self-supervised framework, we propose a threshold algorithm to detect dynamic regions, and mask that in the loss function respectively. In terms of geometric constraints, we use traditional methods to estimate the fundamental matrix from the corresponding points to constrain the camera motion network. We demonstrate the effectiveness of our method on the KITTI dataset. Compared with other joint self-supervised methods, our method achieves state-of-the-art performance in the estimation of pose and optical flow, and the depth estimation has also achieved competitive results. Code will be available https://github.com/jianfenglihg/Unsupervised_geometry.

研究动机与目标

• 解决在无真实标签监督下，从单目视频中估计深度、光流和相机位姿的挑战。
• 通过联合自监督学习，利用深度、光流和位姿之间的几何关系，提升模型的泛化能力和精度。
• 通过引入动态物体处理、注意力机制和几何约束，克服现有自监督方法的局限性。
• 通过建模视频帧间的时间运动相似性，提升位姿估计的鲁棒性。
• 通过引入基于对极几何的更强几何约束，减少位姿误差向光流估计的传播。

提出的方法

• 在位姿网络中引入即插即用的卷积注意力模块，以利用帧间相机运动的时间相似性。
• 提出一种基于阈值的动态区域检测方法，在深度-位姿和光流的自监督损失函数中对动态区域进行掩码处理。
• 应用前向和后向光流一致性约束，以提高光流估计的精度。
• 通过八点算法引入对极几何，以在光流和估计的相机位姿之间强制实现几何一致性。
• 通过图像重映射实现图像重建损失，从而在无需真实标签的情况下实现自监督训练。
• 通过多任务损失联合优化深度、光流和位姿网络，一致性约束和几何约束增强了监督信号。

实验结果

研究问题

• RQ1 注意力机制是否能通过建模帧间运动连续性，提升自监督相机位姿估计的精度？
• RQ2 如何有效检测并排除动态物体以减少深度和光流估计中的误差？
• RQ3 在自监督设置下，对极几何约束是否能提升光流与位姿估计之间的一致性？
• RQ4 联合自监督学习结合几何与一致性约束，是否能优于独立训练或简单联合训练？
• RQ5 所提方法在标准基准（如KITTI）上相较于现有最先进自监督方法的性能提升程度如何？

主要发现

• 所提方法在KITTI 2015的光流估计任务中达到最先进性能，'all'分割的误差率为5.66%，'bg'分割为18.57%。
• 注意力模块显著提升了位姿估计性能，相比基线和先前联合方法，误差明显降低。
• 引入跨任务一致性损失（$L_c^{df}$）和几何约束（$L_g$）后，深度估计进一步改善，在KITTI Eigen分割上绝对相对误差降至0.138。
• 该方法在光流和位姿估计方面优于GLNet及其他联合自监督基线模型，尤其在处理遮挡和运动误差方面表现更优。
• 定性结果表明，即使在复杂场景中，深度预测也准确，可视化结果展示了对纹理变化和运动的鲁棒性。
• 消融实验验证了每个组件——注意力机制、动态掩码和几何约束——均对性能提升有逐步贡献。