[论文解读] SO-Net: Self-Organizing Network for Point Cloud Analysis

Jiaxin Li, Ben M. Chen+1 more|arXiv (Cornell University)|Mar 12, 2018

3D Shape Modeling and Analysis参考文献 18被引用 96

一句话总结

SO-Net 引入了一种对点云具有置换不变性的架构，使用自组织映射（SOM）引导分层特征提取，在训练更快的同时实现具有竞争力的准确度。

ABSTRACT

This paper presents SO-Net, a permutation invariant architecture for deep learning with orderless point clouds. The SO-Net models the spatial distribution of point cloud by building a Self-Organizing Map (SOM). Based on the SOM, SO-Net performs hierarchical feature extraction on individual points and SOM nodes, and ultimately represents the input point cloud by a single feature vector. The receptive field of the network can be systematically adjusted by conducting point-to-node k nearest neighbor search. In recognition tasks such as point cloud reconstruction, classification, object part segmentation and shape retrieval, our proposed network demonstrates performance that is similar with or better than state-of-the-art approaches. In addition, the training speed is significantly faster than existing point cloud recognition networks because of the parallelizability and simplicity of the proposed architecture. Our code is available at the project website. https://github.com/lijx10/SO-Net

研究动机与目标

• 在不规则的三维点云上推动高效且具有置换不变性的深度学习。
• 使用自组织映射（SOM）建模点的空间分布以引导特征提取。
• 通过在SOM上进行点-节点的kNN实现分层、重叠的感受野。
• 展示SOM引导的编码在分类、分割和自编码任务上具有竞争力的结果。
• 证明相比最先进的点云网络，训练速度更快。

提出的方法

• 构建一个8x8的SOM来捕获输入点分布，使用固定初始节点以实现置换不变性。
• 执行批量SOM训练以确保置换不变的更新。
• 对每个点，在SOM节点上执行最近邻kNN搜索，并用这些节点对点进行归一化。
• 使用共享全连接层（类似PointNet）将附着在每个SOM节点上的小点云进行编码，并通过最大池化形成节点特征。
• 通过进一步共享层将节点特征聚合成全局特征向量，用于分类、重构或分割。
• 用一个两分支结构（全连接和上采样卷积）扩展编码器以用于点云自编码，并以 Chamfer 损失进行监督。

实验结果

研究问题

• RQ1 置换不变网络是否能够有效建模点云的空间分布？
• RQ2 自组织映射是否能够实现可控的感受野重叠以及对点云局部特征聚合的改进？
• RQ3 SO-Net 是否在分类、分割和重建任务上实现具有竞争力的性能，同时提供更快的训练时间？
• RQ4 使用点云自编码器进行预训练是否能提升下游任务？
• RQ5 SO-Net 对SOM大小的变化以及点/ SOM扰动的鲁棒性如何？

主要发现

• SO-Net 在点云分类和形状检索任务中实现具有竞争力的性能，在所报告的实验中优于几个基线。
• 用所提自编码器进行预训练对 ModelNet10 分类有适度提升（约0.5%的相对增益），对 ModelNet40 的提升较小。
• 训练时间显著更快（例如，在 GTX-1080Ti 上训练 ModelNet40 大约需 3 小时），相比一些最先进方法。
• SO-Net 对一些SOM和点扰动显示出鲁棒性，在中等SOM噪声和输入损坏下维持准确性。
• 增加分层层数（重复分组与PN模块）在 ModelNet40/ModelNet10 上进一步提升准确性，尽管过深可能导致过拟合。