[论文解读] OctreeOcc: Efficient and Multi-Granularity Occupancy Prediction Using Octree Queries

Yuhang Lu, Xinge Zhu+2 more|arXiv (Cornell University)|Dec 6, 2023

3D Shape Modeling and Analysis被引用 7

一句话总结

OctreeOcc 提出了一种新颖的 3D 占位预测框架，通过自适应八叉树查询实现多粒度场景表征，在显著降低计算开销的同时提升精度。通过整合语义引导的初始化与迭代结构修正，其在 nuScenes 和 SemanticKITTI 上的计算成本比密集网格方法降低 15%–24%，并达到最先进性能。

ABSTRACT

Occupancy prediction has increasingly garnered attention in recent years for its fine-grained understanding of 3D scenes. Traditional approaches typically rely on dense, regular grid representations, which often leads to excessive computational demands and a loss of spatial details for small objects. This paper introduces OctreeOcc, an innovative 3D occupancy prediction framework that leverages the octree representation to adaptively capture valuable information in 3D, offering variable granularity to accommodate object shapes and semantic regions of varying sizes and complexities. In particular, we incorporate image semantic information to improve the accuracy of initial octree structures and design an effective rectification mechanism to refine the octree structure iteratively. Our extensive evaluations show that OctreeOcc not only surpasses state-of-the-art methods in occupancy prediction, but also achieves a 15%-24% reduction in computational overhead compared to dense-grid-based methods.

研究动机与目标

• 解决密集网格 3D 占位预测的高计算成本问题，尤其是在存在大量空区域的稀疏 3D 场景中。
• 克服固定分辨率体素网格无法适应不同物体尺寸和空间复杂度的局限性。
• 利用八叉树的层次结构实现可变粒度表征，保留小物体的空间细节，同时减少空区域的计算量。
• 通过引入语义先验并迭代优化低置信度区域，改进从 2D 图像预测初始八叉树结构的性能。
• 证明基于八叉树的查询机制在精度与效率方面均优于密集网格基线方法。

提出的方法

• 提出一种八叉树查询机制，根据层次化的八叉树结构动态构建 3D 查询，实现多粒度特征聚合。
• 引入语义引导的八叉树初始化方法，利用图像语义特征作为先验，生成准确的初始八叉树结构。
• 设计一种迭代结构修正模块，通过从编码查询中预测修正结果来优化八叉树结构，重点关注低置信度区域。
• 采用可学习的查询选择策略，根据场景复杂度和物体粒度分布动态调整每层八叉树的查询数量。
• 从每层八叉树的叶节点特征构建查询，实现稀疏但高效的 3D 特征表征，降低内存使用。
• 使用体素级占位预测的交叉熵损失进行端到端训练，监督信号来自真实占位标签。

实验结果

研究问题

• RQ1 基于八叉树的查询机制是否能在 3D 占位预测中实现比密集网格表征更优的效率与精度？
• RQ2 语义引导在从 2D 图像初始化八叉树结构方面有多有效，能否提升 3D 场景理解能力？
• RQ3 对八叉树结构进行迭代修正在多大程度上能提升预测精度与鲁棒性？
• RQ4 如何在不同八叉树层级之间实现最优的查询选择比例，以在最大化性能的同时最小化计算成本？
• RQ5 八叉树深度的变化如何影响内存消耗、推理速度与预测精度之间的权衡？

主要发现

• OctreeOcc 在 nuScenes 和 SemanticKITTI 基准上均实现了最先进 mIoU 性能，优于现有的密集网格与稀疏基线方法。
• 与基于密集网格的方法相比，该模型将计算开销降低了 15% 至 24%，在 A40 GPU 上使用 25% 查询选择比例时，推理延迟为 220ms。
• 语义引导的八叉树初始化模块相比随机初始化提升了 1.7 mIoU，证明了语义先验在结构预测中的价值。
• 迭代结构修正模块显著提升了八叉树质量，可视化结果表明修正后的结构与场景几何更加吻合。
• 最优查询比例因八叉树层级而异：过度精细的查询会降低性能，而过度建模粗粒度区域则会降低效率。
• 更深的八叉树结构（如 200×200×16）结合自适应查询选择，可在避免基线方法内存使用超过 80GB 的前提下，实现比密集查询更高的性能。