[论文解读] Spherical Convolutional Neural Network for 3D Point Clouds

Huan Lei, Naveed Akhtar+1 more|arXiv (Cornell University)|May 21, 2018

3D Shape Modeling and Analysis参考文献 21被引用 20

一句话总结

本文提出了一种用于3D点云处理的球面卷积神经网络（SCNN），通过基于度量的球面核与基于八叉树的空间划分，实现了在不规则点云上的高效、平移不变且非对称的卷积操作。该方法在ModelNet10和ModelNet40上分别取得了93.2%和89.7%的准确率，达到当前最先进水平，同时通过分层八叉树结构避免了昂贵的K-NN或范围搜索。

ABSTRACT

We propose a neural network for 3D point cloud processing that exploits `spherical' convolution kernels and octree partitioning of space. The proposed metric-based spherical kernels systematically quantize point neighborhoods to identify local geometric structures in data, while maintaining the properties of translation-invariance and asymmetry. The network architecture itself is guided by octree data structuring that takes full advantage of the sparse nature of irregular point clouds. We specify spherical kernels with the help of neurons in each layer that in turn are associated with spatial locations. We exploit this association to avert dynamic kernel generation during network training, that enables efficient learning with high resolution point clouds. We demonstrate the utility of the spherical convolutional neural network for 3D object classification on standard benchmark datasets.

研究动机与目标

• 为解决将卷积网络应用于缺乏规则网格结构的不规则3D点云所面临的挑战。
• 克服现有方法依赖动态核生成或昂贵的邻域搜索（如K-NN或范围查询）的局限性。
• 利用球面核设计一种可扩展、高效且具有几何意义的3D点云卷积操作。
• 在无需计算法向量或训练过程中动态生成核的情况下，实现平移不变性和非对称特征学习。
• 在标准3D物体识别基准上验证所提出SCNN架构的有效性。

提出的方法

• 该方法使用球面卷积核，将每个点周围的3D球面邻域划分为角度（方位/仰角）和径向的分箱。
• 每个分箱关联一个可学习的权重矩阵，实现局部化、具有几何意义的特征聚合。
• 网络架构基于八叉树数据结构，对3D空间进行分层划分，实现高效的空问索引并降低计算开销。
• 每一层的神经元与八叉树中的空间位置相关联，支持固定核权重，从而在训练过程中无需动态核生成。
• 球面核对点对施加非对称加权，实现紧凑而有效的特征表示。
• 网络通过多层处理点云，在每一层逐步降采样点云，同时学习分层特征。

实验结果

研究问题

• RQ1 能否设计出系统量化3D点云局部几何结构的球面卷积核，同时保持平移不变性与非对称性？
• RQ2 与K-NN或范围搜索相比，基于八叉树的空间划分在提升3D点云处理的可扩展性与效率方面有何优势？
• RQ3 固定的可学习核机制在多大程度上可避免点云网络中动态核生成的计算开销？
• RQ4 所提出的球面卷积神经网络在不依赖法向量的情况下，在3D物体分类任务中相比现有方法的性能提升程度如何？
• RQ5 随着输入点云分辨率与规模的增加，该网络的性能如何扩展？

主要发现

• 所提出的球面卷积神经网络在ModelNet10类级别分类基准上达到93.2%的准确率，优于先前方法（包括PointNet++和ECC）。
• 在更具挑战性的ModelNet40实例级别分类任务中，该方法取得了89.7%的准确率，超越PointNet++和ECC，且未使用法向量。
• 该网络展现出优越的可扩展性：八叉树构建与前向传播时间在50K点云上仍能高效扩展，单样本总推理时间仅为203ms。
• 通过八叉树划分，该方法避免了昂贵的K-NN或范围搜索，其邻域计算速度优于Kd-trees或K-NN，尤其在大规模点云中表现更优。
• 可视化结果表明，特征表示在各层之间逐渐变得粗糙且更具区分性，所学习的球面核能够捕捉有意义的空间模式。
• 消融实验确认数据增强可提升性能，当使用50K训练点时，ModelNet10和ModelNet40的准确率分别达到93.2%和89.7%。