[论文解读] YOLOStereo3D: A Step Back to 2D for Efficient Stereo 3D Detection

Yuxuan Liu, Lujia Wang+1 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Neural Network Applications参考文献 33被引用 6

一句话总结

YOLOStereo3D 提出了一种轻量级、单阶段的立体声 3D 目标检测框架，通过在分层、密集连接的多尺度特征融合中整合立体声特征，将立体声检测问题转化为增强的单目检测问题。该方法在单张 GPU 上实现了超过 10 FPS 的推理速度，且在无 LiDAR 的情况下在 KITTI 基准测试中表现具有竞争力，采用逐点相关模块实现高效的立体声匹配，并通过视差监督实现端到端训练。

ABSTRACT

Object detection in 3D with stereo cameras is an important problem in computer vision, and is particularly crucial in low-cost autonomous mobile robots without LiDARs. Nowadays, most of the best-performing frameworks for stereo 3D object detection are based on dense depth reconstruction from disparity estimation, making them extremely computationally expensive. To enable real-world deployments of vision detection with binocular images, we take a step back to gain insights from 2D image-based detection frameworks and enhance them with stereo features. We incorporate knowledge and the inference structure from real-time one-stage 2D/3D object detector and introduce a light-weight stereo matching module. Our proposed framework, YOLOStereo3D, is trained on one single GPU and runs at more than ten fps. It demonstrates performance comparable to state-of-the-art stereo 3D detection frameworks without usage of LiDAR data. The code will be published in https://github.com/Owen-Liuyuxuan/visualDet3D.

研究动机与目标

• 解决基于密集深度重建和伪 LiDAR 的最先进立体声 3D 检测框架带来的高计算成本问题。
• 提升无 LiDAR 的低成本自主机器人实时部署的可行性。
• 探究 2D 检测框架是否可通过引入立体声特征有效增强为 3D 检测框架。
• 在保持检测精度的同时，减少对昂贵视差估计网络的依赖。
• 仅使用立体声 RGB 图像且无需 LiDAR 数据，实现高推理速度与具有竞争力的性能。

提出的方法

• 采用受实时 2D/3D 目标检测器启发的单阶段检测架构，使用基于锚框的回归进行 3D 边界框预测。
• 引入逐点相关模块以构建用于立体声匹配的成本体积，替代传统的基于拼接的模块，以提升效率。
• 在多个特征尺度（例如 4、8、16）上分层应用立体声匹配模块，以提取多尺度立体声特征。
• 采用密集连接的鬼性模块（ghost module）扩展特征通道数，并在 RGB 与立体声特征融合过程中保留信息。
• 采用分层融合策略，将多尺度立体声特征进行融合，实现计算成本与特征丰富度之间的平衡。
• 通过辅助视差监督头实现端到端训练，以提升立体声匹配质量，且无需真实 LiDAR 数据。

实验结果

研究问题

• RQ1 2D 目标检测框架是否可通过引入立体声特征有效增强为具有竞争力的 3D 检测性能？
• RQ2 与基于拼接的成本体积相比，使用逐点相关模块进行立体声匹配是否能提升效率与性能？
• RQ3 立体声特征在分层、多尺度下的融合如何影响检测精度与推理速度？
• RQ4 视差监督在多大程度上能提升立体声特征学习与最终检测性能？
• RQ5 立体声 3D 检测器是否能在单张 GPU 上实现实时推理（例如 >10 FPS）且无需 LiDAR？

主要发现

• YOLOStereo3D 在单张 GPU 上实现了超过 10 FPS 的推理速度，显著优于基于 LiDAR 或密集重建的框架，在推理效率方面表现突出。
• 该模型在 KITTI 基准测试中实现了具有竞争力的 3D 检测性能，mAP 与最先进立体声 3D 检测器相当，尽管未使用 LiDAR 数据。
• 消融实验表明，与简单的 1×1 卷积或通道压缩相比，密集连接的鬼性模块能显著改善特征表示能力。
• 在尺度 8 和 16 上进行分层立体声特征融合，相比单尺度或部分尺度融合，性能更优，且在速度-精度之间实现了良好权衡。
• 视差监督显著提升了检测性能，尽管结果对目标视差图的精度不甚敏感，表明正则化已足够有效。
• 定性结果表明，即使视差估计不完美，模型仍能生成视觉上一致的 3D 边界框，这得益于锚框头中的强先验和有效的特征融合。