[论文解读] PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation

Yuqi Wang, Yuntao Chen+3 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

PanoOcc 提出了一种基于相机的 3D 全景分割统一占用表示，通过粗到细的学习方案利用体素查询，将多帧、多视角图像特征整合为单一、高效的 3D 占用预测。该方法在 nuScenes 数据集上实现了 71.7 mIoU 和 0.324 NDS 的最先进性能，同时引入了占用稀疏化模块，将内存使用量减少至仅保留 5% 的体素。

ABSTRACT

Comprehensive modeling of the surrounding 3D world is key to the success of autonomous driving. However, existing perception tasks like object detection, road structure segmentation, depth & elevation estimation, and open-set object localization each only focus on a small facet of the holistic 3D scene understanding task. This divide-and-conquer strategy simplifies the algorithm development procedure at the cost of losing an end-to-end unified solution to the problem. In this work, we address this limitation by studying camera-based 3D panoptic segmentation, aiming to achieve a unified occupancy representation for camera-only 3D scene understanding. To achieve this, we introduce a novel method called PanoOcc, which utilizes voxel queries to aggregate spatiotemporal information from multi-frame and multi-view images in a coarse-to-fine scheme, integrating feature learning and scene representation into a unified occupancy representation. We have conducted extensive ablation studies to verify the effectiveness and efficiency of the proposed method. Our approach achieves new state-of-the-art results for camera-based semantic segmentation and panoptic segmentation on the nuScenes dataset. Furthermore, our method can be easily extended to dense occupancy prediction and has shown promising performance on the Occ3D benchmark. The code will be released at https://github.com/Robertwyq/PanoOcc.

研究动机与目标

• 为解决当前 3D 感知任务（如检测、分割）的碎片化问题，通过单一 3D 占用表示实现统一。
• 实现从单目、多视角相机输入的完整 3D 场景理解，避免依赖 LiDAR。
• 通过引入粗到细的体素查询机制与稀疏化，克服 3D 占用学习中的内存低效问题。
• 在统一的占用预测框架内，联合优化目标检测与语义分割。

提出的方法

• PanoOcc 使用 3D 体素查询，以粗到细的方式聚合多帧、多视角图像的时空特征，实现高效的 3D 特征学习。
• 该模型采用基于 Transformer 的架构，跨视角和时间关注特征，逐步优化占用表示。
• 引入了占用稀疏化模块，在上采样过程中修剪非活跃体素，将内存消耗降低高达 95%（仅保留 5% 的体素）。
• 通过多任务损失函数（焦点损失、Lovász-Softmax 损失和特定对象损失）联合优化检测、语义分割与占用预测。
• 在上采样路径中利用稀疏反卷积，以保持空间效率的同时保留几何细节。
• 使用稀疏 LiDAR 点标签作为监督信号，端到端训练体素表示。

Figure 1: Comparison of different tasks for 3D scene understanding. (a) LiDAR panoptic segmentation: Given sparse LiDAR points as input, the model outputs panoptic prediction on sparse LiDAR points. (b) Camera Detection and Segmentation: Given multi-view images, separate models are used to detect ob

实验结果

研究问题

• RQ1 统一的 3D 占用表示能否有效整合来自多视角相机输入的目标检测与语义分割？
• RQ2 如何在不牺牲性能的前提下提升 3D 占用预测中的内存效率？
• RQ3 时间建模在多场景中对摩托车和挂车等被遮挡物体的检测与分割性能提升有多大影响？
• RQ4 与传统的 3D 体素网格或三平面表示相比，所提出的粗到细体素查询机制在准确率与效率方面是否更具优势？
• RQ5 所提出的稀疏化策略能否在显著降低内存占用的同时维持高性能？

主要发现

• PanoOcc 在 nuScenes 数据集上实现了新的最先进 mIoU（71.7%）和 NDS（0.324），优于先前方法（包括 TPVFormer-Base）。
• 与 TPVFormer-Base 的 33.5G 相比，模型将内存消耗降低至 24G（推理）和 6.0G（推理），推理延迟加快 20%（203ms vs. 268ms）。
• 占用稀疏化模块将活跃体素数量减少至原始数量的 5%，显著提升内存效率，且未造成性能下降。
• 时间建模使摩托车的 mIoU 提升 11.7 个百分点，挂车提升 8.2 个百分点，表明对被遮挡物体的检测与分割有显著增益。
• 消融实验证实 Lovász-Softmax 损失至关重要，其移除会使 mIoU 从 65.6 降至 59.6。
• 最优损失权重配置为 λ₁=10.0, λ₂=10.0, λ₃=5.0，实现最高的 mIoU（66.1%）和 NDS（0.324）。

Figure 2: The overall framework of PanoOcc. We employ an image backbone network to extract multi-scale features for multi-view images at multi-frames. Then we apply voxel queries to learn the voxel features via View Encoder . The Temporal Encoder aligns the previous voxel features into the current f