[论文解读] Online Mutual Adaptation of Deep Depth Prediction and Visual SLAM

Shing Yan Loo, Moein Shakeri+3 more|arXiv (Cornell University)|Nov 7, 2021

Robotics and Sensor-Based Localization参考文献 29被引用 4

一句话总结

本文提出一种在线相互适应框架，通过使用SLAM生成的关键帧微调预训练CNN，并利用自适应得到的深度预测结果，通过去除噪声点并执行全局光度束调整来提升地图质量，从而联合改进单目深度预测与视觉SLAM。通过应用弹性权重保留（EWC）正则化，该方法在在线适应过程中防止灾难性遗忘，从而降低深度误差并提高SLAM精度，尤其在未见过的环境中表现更优。

ABSTRACT

The ability of accurate depth prediction by a convolutional neural network (CNN) is a major challenge for its wide use in practical visual simultaneous localization and mapping (SLAM) applications, such as enhanced camera tracking and dense mapping. This paper is set out to answer the following question: Can we tune a depth prediction CNN with the help of a visual SLAM algorithm even if the CNN is not trained for the current operating environment in order to benefit the SLAM performance? To this end, we propose a novel online adaptation framework consisting of two complementary processes: a SLAM algorithm that is used to generate keyframes to fine-tune the depth prediction and another algorithm that uses the online adapted depth to improve map quality. Once the potential noisy map points are removed, we perform global photometric bundle adjustment (BA) to improve the overall SLAM performance. Experimental results on both benchmark datasets and a real robot in our own experimental environments show that our proposed method improves the overall SLAM accuracy. While regularization has been shown to be effective in multi-task classification problems, we present experimental results and an ablation study to show the effectiveness of regularization in preventing catastrophic forgetting in the online adaptation of depth prediction, a single-task regression problem. In addition, we compare our online adaptation framework against the state-of-the-art pre-trained depth prediction CNNs to show that our online adapted depth prediction CNN outperforms the depth prediction CNNs that have been trained on a large collection of datasets.

研究动机与目标

• 为解决在真实世界视觉SLAM系统中部署预训练深度预测CNN时因领域偏移导致性能下降的挑战。
• 实现在无需在大规模数据集上重新训练的前提下，利用SLAM反馈对深度CNN进行在线适应。
• 通过在去除噪声地图点后将在线自适应的深度预测结果整合到全局光度束调整中，提升SLAM精度。
• 探究正则化技术（尤其是EWC）在防止单任务深度回归模型在线微调过程中灾难性遗忘方面的有效性。
• 证明在线自适应的深度预测在长序列上的深度误差和SLAM性能方面可超越当前最先进水平的预训练模型。

提出的方法

• 该框架在两个阶段间交替运行：(1) 利用SLAM提取关键帧并评估深度预测质量；(2) 当预测误差超过阈值时，使用这些关键帧对深度CNN进行微调。
• 在执行全局光度束调整前，利用在线自适应的深度预测结果去除3D地图中的噪声点，以提升相机跟踪和地图重建质量。
• 在在线微调过程中应用弹性权重保留（EWC）正则化，通过Fisher信息矩阵测量参数重要性，以保留先前学习到的知识。
• 该方法采用混合损失函数，结合新数据上的光度重建损失与EWC正则化项，后者惩罚对重要参数的大幅更新。
• 该框架在基准数据集和真实世界机器人部署中均进行了评估，与预训练深度模型及无正则化的消融变体进行性能对比。
• 还评估了其他正则化方法（SI和MAS），以比较其在在线适应过程中防止遗忘的有效性。

实验结果

研究问题

• RQ1 能否利用视觉SLAM系统的反馈，实时有效地微调预训练的深度CNN，以提升在未见环境中的深度预测性能？
• RQ2 深度CNN的在线自适应是否能带来可测量的视觉SLAM精度提升，特别是在长序列中？
• RQ3 像EWC这样的正则化技术能否有效防止单任务回归模型（如深度预测）在在线微调过程中的灾难性遗忘？
• RQ4 将在线自适应的深度预测结果整合到全局束调整中，如何影响地图质量与相机跟踪稳定性？
• RQ5 在线自适应的深度预测是否在深度误差和SLAM性能方面优于当前最先进水平的预训练深度模型？

主要发现

• 所提出的在线自适应框架通过利用SLAM反馈优化深度预测，显著提升了真实世界环境中SLAM的精度。
• 在全局光度束调整前，利用在线自适应的深度预测结果去除噪声地图点，可实现更精确的相机跟踪与更优的3D地图重建。
• EWC正则化在深度CNN的在线微调过程中有效防止了灾难性遗忘，其在保留先验知识方面优于仅使用经验回放的方法。
• 在线自适应的深度预测模型在长序列持续适应后，其深度误差低于当前最先进水平的预训练模型。
• 消融研究证实正则化对稳定在线自适应至关重要，SI和MAS在本场景中表现与EWC相当或略逊一筹。
• 该框架在多种真实世界环境中表现出鲁棒性与适应性，在多个评估指标上均实现一致改进。