[论文解读] The RoboDepth Challenge: Methods and Advancements Towards Robust Depth Estimation

Ling-Dong Kong, Yaru Niu+40 more|arXiv (Cornell University)|Jul 27, 2023

Image Processing Techniques and Applications被引用 4

一句话总结

本文介绍了 RoboDepth 挑战赛，该赛事通过 KITTI-C 和 NYUDepth2-C 基准测试，推动在分布外（OoD）损坏条件下鲁棒单目深度估计的发展。该挑战赛评估了在两个赛道（自监督与完全监督深度估计）中表现最佳的 9 种解决方案，展示了对抗性训练、基于扩散的噪声抑制、视觉-语言预训练以及层级特征增强等新颖技术，在具有挑战性的 OoD 场景中实现了最先进水平的鲁棒性。

ABSTRACT

Accurate depth estimation under out-of-distribution (OoD) scenarios, such as adverse weather conditions, sensor failure, and noise contamination, is desirable for safety-critical applications. Existing depth estimation systems, however, suffer inevitably from real-world corruptions and perturbations and are struggled to provide reliable depth predictions under such cases. In this paper, we summarize the winning solutions from the RoboDepth Challenge -- an academic competition designed to facilitate and advance robust OoD depth estimation. This challenge was developed based on the newly established KITTI-C and NYUDepth2-C benchmarks. We hosted two stand-alone tracks, with an emphasis on robust self-supervised and robust fully-supervised depth estimation, respectively. Out of more than two hundred participants, nine unique and top-performing solutions have appeared, with novel designs ranging from the following aspects: spatial- and frequency-domain augmentations, masked image modeling, image restoration and super-resolution, adversarial training, diffusion-based noise suppression, vision-language pre-training, learned model ensembling, and hierarchical feature enhancement. Extensive experimental analyses along with insightful observations are drawn to better understand the rationale behind each design. We hope this challenge could lay a solid foundation for future research on robust and reliable depth estimation and beyond. The datasets, competition toolkit, workshop recordings, and source code from the winning teams are publicly available on the challenge website.

研究动机与目标

• 解决在恶劣天气、传感器故障和噪声等分布外（OoD）条件下，安全关键应用中对鲁棒深度估计的迫切需求。
• 通过在新建立的 KITTI-C 和 NYUDepth2-C 基准上使用真实模拟数据损坏，推进单目深度估计的最先进技术。
• 通过举办聚焦于分布偏移下泛化能力的竞赛，促进鲁棒深度估计领域的创新，设立两个独立赛道：自监督学习与完全监督学习。
• 提供公开平台，包含数据集、代码和评估工具，以支持可复现的研究及未来在鲁棒视觉感知方面的发展。
• 识别并分析能提升 OoD 泛化能力的有效架构与训练策略，为未来模型设计提供洞见。

提出的方法

• 在 CodaLab 平台举办双赛道竞赛，一个赛道针对户外 KITTI-C 数据的自监督深度估计，另一个赛道针对室内 NYUDepth2-C 数据的完全监督深度估计。
• 实施严格的评估规则：训练过程中禁止使用 18 种损坏类型，且强制提交代码以确保可复现性，从而保障基准测试的公平与透明。
• 使用涵盖三类损坏的 18 种损坏类型对方法进行评估：恶劣天气/光照、运动/传感器故障、处理噪声。
• 采用标准指标如 RMSE、MAE 和 Δ1 进行定量评估，结果在多种损坏严重程度下聚合。
• 整合获胜方案中的多样化技术，包括空间域与频域数据增强、掩码图像建模、图像恢复以及视觉-语言预训练。
• 应用先进方法如对抗性训练、基于扩散的去噪、学习型模型集成以及层级特征增强，以提升鲁棒性。

实验结果

研究问题

• RQ1 哪些架构与训练技术在分布外损坏条件下最有效地提升深度估计的鲁棒性？
• RQ2 自监督与完全监督深度估计方法在真实世界损坏条件下的性能与泛化能力如何比较？
• RQ3 视觉-语言预训练、对抗性训练与基于扩散的噪声抑制等技术在多大程度上能增强模型鲁棒性？
• RQ4 哪些设计模式与组件能持续提升在多种损坏类型与严重程度下的性能表现？
• RQ5 模型集成与层级特征学习如何在不牺牲推理效率的前提下提升鲁棒性？

主要发现

• 获奖解决方案在 KITTI-C 与 NYUDepth2-C 基准上实现了最先进性能，展示了在全部 18 种损坏类型下鲁棒性的显著提升。
• 视觉-语言预训练与基于扩散的噪声抑制技术表现出强大的泛化能力，尤其在模糊与天气影响等复杂损坏下效果显著。
• 对抗性训练与空间-频域增强在应对合成与真实世界扰动方面表现有效，显著提升了鲁棒性。
• 学习型模型集成与层级特征增强带来了持续的性能增益，尤其在处理严重损坏级别时表现突出。
• 图像恢复与超分辨率模块的集成提升了低质量输入下的深度预测性能，凸显了预处理在鲁棒估计中的价值。
• 该挑战赛揭示，某些技术如 TTA 与高阶集成可能因延迟过高而不适用于车载部署，提示未来需注重效率感知的鲁棒设计。