[论文解读] OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

Xiaofeng Wang, Zheng Zhu+8 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了 OpenOccupancy，这是首个面向自动驾驶中周围语义占据感知的大规模基准数据集，通过增强与净化（AAP）流水线，在 nuScenes 数据集上扩展了密集的多模态注释。该工作建立了基于摄像头、激光雷达和多模态的基线模型，并提出了级联占据网络（CONet），其性能提升约30%，同时计算成本更低，实现了复杂城市场景下高分辨率3D占据预测。

ABSTRACT

Semantic occupancy perception is essential for autonomous driving, as automated vehicles require a fine-grained perception of the 3D urban structures. However, existing relevant benchmarks lack diversity in urban scenes, and they only evaluate front-view predictions. Towards a comprehensive benchmarking of surrounding perception algorithms, we propose OpenOccupancy, which is the first surrounding semantic occupancy perception benchmark. In the OpenOccupancy benchmark, we extend the large-scale nuScenes dataset with dense semantic occupancy annotations. Previous annotations rely on LiDAR points superimposition, where some occupancy labels are missed due to sparse LiDAR channels. To mitigate the problem, we introduce the Augmenting And Purifying (AAP) pipeline to ~2x densify the annotations, where ~4000 human hours are involved in the labeling process. Besides, camera-based, LiDAR-based and multi-modal baselines are established for the OpenOccupancy benchmark. Furthermore, considering the complexity of surrounding occupancy perception lies in the computational burden of high-resolution 3D predictions, we propose the Cascade Occupancy Network (CONet) to refine the coarse prediction, which relatively enhances the performance by ~30% than the baseline. We hope the OpenOccupancy benchmark will boost the development of surrounding occupancy perception algorithms.

研究动机与目标

• 为解决自动驾驶中周围语义占据感知缺乏全面基准的问题。
• 克服现有数据集规模小、仅限前视感知或聚焦于室内场景的局限性。
• 开发一种高效、可扩展的流水线，用于大规模户外驾驶场景中密集语义占据的注释。
• 在新基准上建立稳健的、多模态的基线模型，涵盖摄像头、激光雷达及融合模态。
• 设计一种计算高效的架构 CONet，实现高分辨率3D占据预测，同时保持极低延迟。

提出的方法

• 提出增强与净化（AAP）流水线，利用预训练基线生成的伪标签来增强稀疏激光雷达占据注释，并通过人工验证减少噪声。
• 在 nuScenes 数据集上扩展了850个场景和20万个图像帧的密集语义占据标签，注释密度相比初始激光雷达叠加方法提升了约2倍。
• 设计基于摄像头、激光雷达和多模态的基线模型，采用 ResNet 主干网络和特征融合策略，其中自适应融合优于拼接或加法操作。
• 提出级联占据网络（CONet），一种自粗到精的架构，通过语义和几何特征采样来优化低分辨率预测，从而提升精度。
• 在 CONet 中采用基于步长的采样策略以控制分辨率和计算成本，消融实验验证了语义与几何特征联合使用的有效性。
• 在 OpenOccupancy 基准上训练并评估模型，采用 IoU 和 mIoU 等指标，涵盖不同输入分辨率和融合方法。

实验结果

研究问题

• RQ1 如何在大规模户外驾驶数据集中高效生成密集且高质量的语义占据注释？
• RQ2 摄像头单模态、激光雷达单模态和多模态方法在周围占据感知中的相对优势与局限性是什么？
• RQ3 像 CONet 这类自粗到精的网络架构在高分辨率3D占据预测中，能在多大程度上提升性能并降低计算成本？
• RQ4 不同的特征融合策略（拼接、加法、自适应）对多模态占据预测性能有何影响？
• RQ5 在周围占据感知中，预测分辨率、GPU 显存消耗与推理效率之间存在怎样的权衡？

主要发现

• AAP 流水线相比初始激光雷达叠加方法，成功将注释密度提升约2倍，人工净化共投入约4,000个工时。
• 多模态基线在 mIoU 上相比摄像头基线提升47%，相比激光雷达基线提升29%。
• 所提出的 CONet 相比高分辨率基线，性能提升约30%，同时 GPU 显存使用减少约15 GB，GFLOPs 降低约70%。
• 仅使用几何特征的 CONet 相比基线 mIoU 提升28%，而结合语义与几何特征后实现33%的相对提升。
• 对于摄像头基线，输入分辨率增大至1600×900后，mIoU 提升20%；多帧激光雷达输入相比单帧输入使 mIoU 提升43%。
• 多模态基线中的自适应融合策略相比拼接和加法分别在 mIoU 上领先6%和5%。