[论文解读] Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving

Yuxuan Liu|arXiv (Cornell University)|Mar 4, 2024

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本论文提出了一套可扩展的纯视觉3D感知方法，用于自动驾驶，引入了基于几何先验的改进单目与双目3D检测方法，以及一种新颖的无监督深度估计流水线（FSNet）。该方法在多个基准测试中达到最先进性能，并实现了在无3D标注数据集上的零样本迁移，展示了在真实世界及360°摄像头数据上无需LiDAR的鲁棒性。

ABSTRACT

This dissertation is a multifaceted contribution to the advancement of vision-based 3D perception technologies. In the first segment, the thesis introduces structural enhancements to both monocular and stereo 3D object detection algorithms. By integrating ground-referenced geometric priors into monocular detection models, this research achieves unparalleled accuracy in benchmark evaluations for monocular 3D detection. Concurrently, the work refines stereo 3D detection paradigms by incorporating insights and inferential structures gleaned from monocular networks, thereby augmenting the operational efficiency of stereo detection systems. The second segment is devoted to data-driven strategies and their real-world applications in 3D vision detection. A novel training regimen is introduced that amalgamates datasets annotated with either 2D or 3D labels. This approach not only augments the detection models through the utilization of a substantially expanded dataset but also facilitates economical model deployment in real-world scenarios where only 2D annotations are readily available. Lastly, the dissertation presents an innovative pipeline tailored for unsupervised depth estimation in autonomous driving contexts. Extensive empirical analyses affirm the robustness and efficacy of this newly proposed pipeline. Collectively, these contributions lay a robust foundation for the widespread adoption of vision-based 3D perception technologies in autonomous driving applications.

研究动机与目标

• 通过减少对昂贵LiDAR标注数据的依赖，解决自动驾驶中基于视觉的3D感知在可扩展性与数据效率方面的局限性。
• 通过整合基于地面的几何先验与优化的网络结构，提升单目3D目标检测的准确性。
• 通过从单目模型蒸馏知识并实现高效的多尺度特征融合，提升双目3D检测性能。
• 设计一种联合训练方案，利用2D与3D标注数据，提升模型泛化能力与部署可行性。
• 通过图像序列与位姿先验，实现无监督全尺度深度估计，实现在透视与鱼眼相机上的高性能表现。

提出的方法

• 引入一种地面感知卷积模块，将来自3D候选框的几何先验编码进网络，以提升单目3D检测的准确性。
• 采用轻量化代价体积结构，结合密集连接的鬼性模块与分层多尺度融合，实现高效的双目特征提取。
• 设计一种选择性训练策略，通过考虑相机参数与类别分布偏移，使模型适应不同数据集。
• 提出FSNet，一种基于知识蒸馏的无监督深度估计框架，利用重建损失与光流掩码处理动态物体。
• 将位姿先验直接嵌入网络输入，并应用基于优化的后处理方法，实现实时在线优化深度预测。
• 通过多通道输出与辅助视差监督，稳定训练过程，无需额外的PoseNet网络。

实验结果

研究问题

• RQ1 如何通过利用场景地面平面导出的几何先验，提升单目3D检测的性能？
• RQ2 从单目网络中迁移结构化洞察，能在多大程度上提升双目3D检测的性能？
• RQ3 统一的训练策略能否有效结合2D与3D标注数据，以提升模型在多样化数据集上的泛化能力？
• RQ4 利用图像序列位姿与重建损失的无监督深度估计流水线，在真实自动驾驶场景中效果如何？
• RQ5 所提方法能否在无LiDAR条件下实现在嵌入式系统上的高质量3D感知，包括360°鱼眼相机？

主要发现

• 所提出的带几何先验的单目3D检测器在KITTI、nuScenes与Cityscapes基准上达到最先进性能。
• 通过利用单目模型的知识与多尺度融合，双目3D检测框架在推理效率与准确性上均得到提升。
• 联合训练方案实现了强大的零样本泛化能力，在自采数据上无需任何3D标注即可生成高质量预测。
• FSNet框架在公开数据集上实现具有竞争力的深度估计性能，并在鱼眼与360°相机数据上表现出强鲁棒性。
• 最终系统实现在嵌入式平台上的实时、无LiDAR 3D感知，验证了纯视觉3D感知在自动驾驶中的可行性。
• 消融实验证实FSNet中各组件（包括自蒸馏与光流掩码）的有效性，尤其在处理动态场景时表现突出。