[论文解读] Octree guided CNN with Spherical Kernels for 3D Point Clouds

Huan Lei, Naveed Akhtar+1 more|arXiv (Cornell University)|Feb 28, 2019

3D Shape Modeling and Analysis参考文献 39被引用 18

一句话总结

该论文提出了一种新型的八叉树引导CNN，采用球面卷积核处理3D点云，实现了高效、平移不变且非对称的特征学习，无需动态核生成。通过利用分层空间划分和基于bin的核加权，该方法在ShapeNet和RueMonge2014数据集上的3D分类与语义分割任务中达到最先进性能。

ABSTRACT

We propose an octree guided neural network architecture and spherical convolutional kernel for machine learning from arbitrary 3D point clouds. The network architecture capitalizes on the sparse nature of irregular point clouds, and hierarchically coarsens the data representation with space partitioning. At the same time, the proposed spherical kernels systematically quantize point neighborhoods to identify local geometric structures in the data, while maintaining the properties of translation-invariance and asymmetry. We specify spherical kernels with the help of network neurons that in turn are associated with spatial locations. We exploit this association to avert dynamic kernel generation during network training that enables efficient learning with high resolution point clouds. The effectiveness of the proposed technique is established on the benchmark tasks of 3D object classification and segmentation, achieving new state-of-the-art on ShapeNet and RueMonge2014 datasets.

研究动机与目标

• 解决将标准CNN应用于缺乏规则网格结构的不规则3D点云所面临的挑战。
• 克服现有方法的局限性，如高内存占用、动态核生成以及昂贵的K-NN/范围搜索。
• 设计一种在3D空间中保持平移不变性与非对称性的几何上有意义的卷积核。
• 通过用八叉树驱动的空间划分替代迭代的邻域搜索，实现对高分辨率点云的高效处理。
• 在不依赖法向量计算或复杂图结构的前提下，实现在基准3D点云任务上的最先进性能。

提出的方法

• 提出球面卷积核，将每个点周围的3D空间划分为体积累积的bin，每个bin关联一个可学习的权重矩阵。
• 使用八叉树划分对点云进行分层粗化，网络的每一层对应八叉树结构中的一个层级。
• 将每个网络神经元与八叉树中的空间位置关联，从而在训练过程中无需动态核生成。
• 对邻近点非对称地应用球面核，模仿标准2D CNN的行为，实现紧凑的表示学习。
• 直接从八叉树结构构建点邻域，避免K-NN和范围搜索，从而降低计算成本。
• 采用多层网络架构（Ψ-CNN），其中特征图通过在每个八叉树层级上的球面卷积逐步更新，分辨率逐步降低。

实验结果

研究问题

• RQ1 能否设计一种球面卷积核，在保持3D点云中平移不变性与非对称性的同时实现高效学习？
• RQ2 八叉树驱动的空间划分能否替代3D CNN中的K-NN或范围搜索来实现邻域计算，从而提升效率？
• RQ3 将核与八叉树中固定的空间位置关联，是否能消除训练过程中对动态核生成的需求？
• RQ4 该方法能否在3D点云分类与分割任务中实现最先进性能？
• RQ5 与PointNet++和OctNet等现有方法相比，该方法在推理时间与内存使用方面如何扩展？

主要发现

• 所提出的Ψ-CNN在ModelNet40上的3D物体分类任务中达到86.8%的准确率，优于此前所有方法，包括PointNet++。
• 在ShapeNet部件分割基准上，该方法实现84.7%的mIoU，创下新的最先进性能记录。
• 在真实世界RueMonge2014数据集的语义分割任务中，该方法取得83.5%的整体准确率和63.6%的平均IoU，优于具有20层参数的OctNet。
• 单个10K点云样本的测试时间为34.1ms（八叉树构建耗时3.5ms，前向传播耗时30.6ms），尽管分辨率较高，仍表现出高效性。
• 该方法完全避免了法向量计算，但仍取得具有竞争力的结果，表明对输入特征具有强鲁棒性。
• 性能测试显示，对于大规模点云，基于八叉树的邻域计算显著快于K-NN和范围搜索。