[论文解读] SeasonDepth: Cross-Season Monocular Depth Prediction Dataset and Benchmark under Multiple Environments

Hanjiang Hu, Baoquan Yang+7 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Vision and Imaging参考文献 72被引用 4

一句话总结

本文提出了SeasonDepth，这是首个跨季节的单目深度预测数据集与基准，通过结构光束法（SfM）和多视角立体匹配（MVS）流程，在多种真实环境（如光照、植被和天气变化）下采集而成。该研究评估了当前最先进的监督式与自监督式深度模型，发现现有方法在应对环境变化时泛化能力较差，并表明在SeasonDepth上微调可提升模型在KITTI或Cityscapes预训练基础上的鲁棒性。

ABSTRACT

Different environments pose a great challenge to the outdoor robust visual perception for long-term autonomous driving, and the generalization of learning-based algorithms on different environments is still an open problem. Although monocular depth prediction has been well studied recently, few works focus on the robustness of learning-based depth prediction across different environments, e.g. changing illumination and seasons, owing to the lack of such a multi-environment real-world dataset and benchmark. To this end, the first cross-season monocular depth prediction dataset and benchmark, SeasonDepth, is introduced to benchmark the depth estimation performance under different environments. We investigate several state-of-the-art representative open-source supervised and self-supervised depth prediction methods using newly-formulated metrics. Through extensive experimental evaluation on the proposed dataset and cross-dataset evaluation with current autonomous driving datasets, the performance and robustness against the influence of multiple environments are analyzed qualitatively and quantitatively. We show that long-term monocular depth prediction is still challenging and believe our work can boost further research on the long-term robustness and generalization for outdoor visual perception. The dataset is available on https://seasondepth.github.io, and the benchmark toolkit is available on https://github.com/ SeasonDepth/SeasonDepth.

研究动机与目标

• 为解决缺乏评估单目深度预测在多样化环境条件（如季节变化、光照与天气）下表现的真实世界数据集的问题。
• 在多种环境变化下，对当前最先进的监督式与自监督式深度预测模型的泛化能力与鲁棒性进行基准测试。
• 提供一个公开可用的数据集与基准工具包，以支持对外部视觉感知长期鲁棒性的系统性评估与未来研究。
• 定量与定性分析环境变化对深度预测性能的影响，识别失败模式与有前景的研究方向。

提出的方法

• 利用CMU视觉定位数据集构建SeasonDepth数据集，通过SfM与MVS流程，结合RANSAC与人工后处理，生成无尺度的密集深度图。
• 在同一城市路线上，在多种环境条件下（如多云、阴天、低太阳高度角及不同植被状态）采集RGB图像与对应深度图。
• 提出新的评估指标，包括均值、方差与相对范围，以评估模型在不同环境下的性能一致性。
• 对来自KITTI与Cityscapes排行榜的代表性开源模型进行基准测试，涵盖监督式、基于立体视觉、基于视频与领域自适应方法。
• 通过在SeasonDepth上微调模型并在KITTI上测试，反之亦然，开展跨数据集评估，以评估领域泛化能力。
• 对无尺度深度预测结果应用均值与方差对齐，以实现与基于立体视觉的真值之间的公平比较。

实验结果

研究问题

• RQ1 当前最先进的单目深度预测模型在不同环境条件（如季节变化与光照变化）下的表现如何？
• RQ2 在SeasonDepth数据集上微调于KITTI或Cityscapes上预训练的模型时，领域偏移的影响是什么？
• RQ3 哪些深度预测方法在多样化环境下的平均性能与方差表现更优，展现出更好的鲁棒性与一致性？
• RQ4 与在Cityscapes上训练相比，模型在SeasonDepth上训练后，其在其他数据集（如KITTI）上的泛化能力提升程度如何？

主要发现

• 大多数经过充分调优的深度预测模型表现出较差的泛化能力，在低太阳高度角或阴天等不同环境条件下性能波动大且不一致。
• 在SeasonDepth上微调的模型在KITTI上的表现优于在Cityscapes上微调的模型，表明SeasonDepth捕捉到了更多样化且更具挑战性的环境变化。
• 在SeasonDepth上微调的模型在absErrorRel与sqErrorRel指标上的性能波动显著低于在Cityscapes上微调的模型，表明其鲁棒性得到提升。
• KITTI预训练模型在SeasonDepth上的性能显著下降，凸显了显著的领域偏移，也暴露了当前模型在应对环境变化方面的局限性。
• 尽管深度图无尺度，但基于SfM/MVS的深度图在SeasonDepth中仍具备足够的准确性，可用于训练与评估，这一点通过跨数据集性能对比得到了验证。