[论文解读] OctNet: Learning Deep 3D Representations at High Resolutions

Gernot Riegler, Ali Osman Ulusoy+1 more|arXiv (Cornell University)|Nov 15, 2016

Advanced Vision and Imaging参考文献 44被引用 35

一句话总结

OctNet 提出了一种基于分层非平衡八叉树的 3D 卷积神经网络表示方法，通过利用 3D 数据中的稀疏性，实现了在高分辨率下的深度学习。通过八叉树划分动态地将内存和计算资源分配给密集区域，OctNet 在内存和速度方面显著优于密集体素网格，实现了在分辨率高达 256³ 的 3D 分类、姿态估计和语义分割任务上的最先进性能。

ABSTRACT

We present OctNet, a representation for deep learning with sparse 3D data. In contrast to existing models, our representation enables 3D convolutional networks which are both deep and high resolution. Towards this goal, we exploit the sparsity in the input data to hierarchically partition the space using a set of unbalanced octrees where each leaf node stores a pooled feature representation. This allows to focus memory allocation and computation to the relevant dense regions and enables deeper networks without compromising resolution. We demonstrate the utility of our OctNet representation by analyzing the impact of resolution on several 3D tasks including 3D object classification, orientation estimation and point cloud labeling.

研究动机与目标

• 解决高分辨率下密集 3D 卷积神经网络带来的高内存和计算成本问题。
• 实现运行在超过现有方法典型限制（30³–64³）的高分辨率 3D 网络。
• 利用 3D 数据（如点云、网格）中的稀疏性，将计算和内存资源集中于相关区域。
• 证明高分辨率输入能显著提升 3D 感知任务的性能。
• 提供一种高效且可扩展的 3D 深度学习框架，支持在稀疏结构上进行标准操作（如卷积、池化、反池化）。

提出的方法

• OctNet 使用非平衡八叉树根据数据密度对 3D 空间进行分层划分，仅在包含数据点或网格三角形的区域进行递归分割。
• 八叉树的每个叶节点存储其包含体素的聚合特征表示，实现紧凑且高效的特征存储。
• 3D 卷积、最大池化和反池化操作直接在八叉树结构上实现，保留空间层次结构，支持端到端学习。
• 网络动态地将计算和内存分配给稀疏且相关的区域，避免了密集网格带来的立方级内存增长。
• 八叉树结构支持可变分辨率的特征学习，密集区域采用更高分辨率，空旷区域则使用较粗分辨率。
• 网络通过标准反向传播进行训练，操作已适配稀疏八叉树拓扑结构。

实验结果

研究问题

• RQ1 能否在稀疏 3D 数据上高效训练高分辨率（如 128³ 或 256³）的深度 3D 卷积网络？
• RQ2 输入分辨率对 3D 分类、姿态估计和语义分割任务的性能有何影响？
• RQ3 与密集体素网格相比，基于稀疏八叉树的表示是否能降低内存和计算成本，同时保持或提升准确率？
• RQ4 OctNet 的稀疏表示所支持的高分辨率输入能带来多大的性能提升？
• RQ5 当适配到不规则且分层的八叉树结构时，标准深度学习操作（卷积、池化、反池化）的性能如何？

主要发现

• OctNet 实现了在高达 256³ 分辨率下的 3D 卷积网络训练，远超现有密集网络通常的 30³–64³ 限制。
• 在 128³ 和 256³ 分辨率下，OctNet 相较于等效的密集网络实现了最高达 10 倍的速度提升，得益于更少的内存占用和计算量。
• 在 3D 分类任务中，OctNet 在较低分辨率（如 64³）下达到与密集网络相当的准确率，而在更高分辨率下则显著超越它们。
• 在姿态估计任务中，通过 OctNet 实现的更高输入分辨率使准确率相比低分辨率基线提升了 5.2 个百分点。
• 在语义 3D 点云标注任务中，OctNet 在高分辨率下实现了最先进性能，得益于细粒度的特征学习，定位准确率得到提升。
• 所提出的基于八叉树的操作（卷积、池化、反池化）高效且可扩展，支持在稀疏 3D 数据上进行深层网络的端到端训练。