[论文解读] PointManifold: Using Manifold Learning for Point Cloud Classification

Dinghao Yang, Wei Gao|arXiv (Cornell University)|Oct 14, 2020

3D Shape Modeling and Analysis参考文献 27被引用 7

一句话总结

该论文提出PointManifold，一种通过将流形学习（采用局部线性嵌入LLE和基于神经网络的流形投影）整合到图神经网络框架中，以增强特征表示的点云分类方法。通过在低维流形嵌入中保持几何连续性，并将这些嵌入与3D特征拼接，该方法在ModelNet40上实现了90.2%的平均类别准确率和93.2%的整体准确率，达到当前最先进水平。

ABSTRACT

In this paper, we propose a point cloud classification method based on graph neural network and manifold learning. Different from the conventional point cloud analysis methods, this paper uses manifold learning algorithms to embed point cloud features for better considering the geometric continuity on the surface. Then, the nature of point cloud can be acquired in low dimensional space, and after being concatenated with features in the original three-dimensional (3D)space, both the capability of feature representation and the classification network performance can be improved. We pro-pose two manifold learning modules, where one is based on locally linear embedding algorithm, and the other is a non-linear projection method based on neural network architecture. Both of them can obtain better performances than the state-of-the-art baseline. Afterwards, the graph model is constructed by using the k nearest neighbors algorithm, where the edge features are effectively aggregated for the implementation of point cloud classification. Experiments show that the proposed point cloud classification methods obtain the mean class accuracy (mA) of 90.2% and the overall accuracy (oA)of 93.2%, which reach competitive performances compared with the existing state-of-the-art related methods.

研究动机与目标

• 通过利用流形学习捕捉几何连续性，改进点云分类，解决基于欧氏距离的局部特征分析方法的局限性。
• 设计一种新颖的神经网络架构，将流形学习集成到3D点云理解的深度学习流程中。
• 通过将低维流形特征与原始3D坐标相结合，增强特征表示，从而提升分类性能。
• 验证流形学习在捕捉内在几何结构方面相对于标准降维方法（如PCA）的有效性。
• 通过消融研究探索不同流形学习模块在提升模型性能方面的互补作用。

提出的方法

• 提出一种流形学习模块，利用局部线性嵌入（LLE）在从3D空间降维至低维空间的过程中保持邻域关系。
• 引入一种基于神经网络的流形投影（MP）模块，端到端学习非线性的3D到2D映射，以捕捉复杂的几何结构。
• 将低维流形特征与原始3D坐标拼接，以丰富下游分类任务的输入特征。
• 构建k近邻图以表示点云，通过图神经网络聚合边特征。
• 采用通道控制机制调节特征维度，优化表示学习。
• 使用ModelNet40数据集进行训练与评估，并通过消融研究分析模块间交互作用及超参数敏感性。

实验结果

研究问题

• RQ1 流形学习是否能通过更好地捕捉几何连续性，提升点云特征表示性能，优于基于欧氏距离的方法？
• RQ2 LLE与基于神经网络的流形投影在提升点云分类性能方面表现如何比较？
• RQ3 将流形学习得到的特征与原始3D特征拼接，是否能显著提升基线模型的性能？
• RQ4 在最大化分类准确率的前提下，流形学习模块与通道控制参数的最优配置是什么？
• RQ5 两种流形学习模块（LLE与MP）在模型性能贡献方面，其互补性或重叠程度如何？

主要发现

• 所提出的PointManifold方法在ModelNet40数据集上实现了90.2%的平均类别准确率和93.2%的整体准确率，优于DGCNN基线模型。
• 基于LLE的流形学习模块在使用1024个点时，将分类准确率提升至90.0%的平均类别准确率和93.0%的整体准确率。
• 基于神经网络的流形投影（MP）模块在1024个点输入下实现了90.1%的平均类别准确率和93.0%的整体准确率，表现出强劲性能。
• 同时使用LLE与MP模块并未带来显著性能提升，表明两个模块之间存在功能重叠。
• 消融研究证实，增加通道控制参数$ t $可提升性能，当MP使用3个平面时，$ t = 4 $为最优配置。
• 与PCA相比（其性能未优于基线），LLE与MP模块显著优于标准线性降维方法，能够更好地保持几何结构。