[论文解读] SAWNet: A Spatially Aware Deep Neural Network for 3D Point Cloud Processing

Chaitanya Kaul, Nick Pears+1 more|arXiv (Cornell University)|May 18, 2019

3D Shape Modeling and Analysis参考文献 31被引用 10

一句话总结

SAWNet 是一种空间感知的深度神经网络，通过一种新颖的 SAW 层在 3D 点云中融合全局和局部几何特征，并通过残差连接实现稳定训练。它在 ModelNet40 上实现了最先进水平的准确率（89.7% 的 top-1 准确率），并在 ShapeNet part 和 ScanNet 分割基准上取得了具有竞争力的结果，表现出对点云丢弃的鲁棒性。

ABSTRACT

Deep neural networks have established themselves as the state-of-the-art methodology in almost all computer vision tasks to date. But their application to processing data lying on non-Euclidean domains is still a very active area of research. One such area is the analysis of point cloud data which poses a challenge due to its lack of order. Many recent techniques have been proposed, spearheaded by the PointNet architecture. These techniques use either global or local information from the point clouds to extract a latent representation for the points, which is then used for the task at hand (classification/segmentation). In our work, we introduce a neural network layer that combines both global and local information to produce better embeddings of these points. We enhance our architecture with residual connections, to pass information between the layers, which also makes the network easier to train. We achieve state-of-the-art results on the ModelNet40 dataset with our architecture, and our results are also highly competitive with the state-of-the-art on the ShapeNet part segmentation dataset and the indoor scene segmentation dataset. We plan to open source our pre-trained models on github to encourage the research community to test our networks on their data, or simply use them for benchmarking purposes.

研究动机与目标

• 为高效处理无序、非欧几里得的 3D 点云数据提供解决方案。
• 通过结合全局上下文与局部几何结构，提升点云表征学习能力。
• 通过空间感知架构中的残差连接，增强训练稳定性和特征学习能力。
• 在极少超参数调优的情况下，实现分类和分割任务的卓越性能。

提出的方法

• 提出一种 SAW 层，通过共享的多层感知机（MLPs）联合编码全局点云嵌入，并利用动态图卷积神经网络（DGCNNs）提取局部邻域特征。
• 通过拼接和残差恒等映射融合全局与局部表征，以保持特征在各层间的流动。
• 采用空间变换模块，使用可学习的 3×3 变换矩阵在特征提取前对输入点云进行对齐。
• 使用最大池化进行全局特征聚合，并通过一个三层 MLP 实现最终分类或逐点分割。
• 不仅在层间，而且在层内应用残差连接，以稳定梯度流动并改善优化。
• 使用标准反向传播算法进行端到端训练，分类和分割任务均采用交叉熵损失函数。

实验结果

研究问题

• RQ1 在单一层中融合全局与局部几何特征，是否能提升 3D 点云表征学习？
• RQ2 残差学习如何影响点云网络的性能与训练稳定性？
• RQ3 所提出的架构在点云稀疏化或随机点丢弃情况下的鲁棒性如何？
• RQ4 空间变换模块是否能改善不同点云朝向下的对齐与泛化能力？
• RQ5 SAWNet 架构在标准 3D 点云基准上的表现与最先进模型相比如何？

主要发现

• SAWNet 在 ModelNet40 数据集上实现了 89.7% 的 top-1 准确率，创下新的最先进水平。
• 在 ShapeNet 部分分割数据集上，SAWNet 达到了 84.8% 的平均交并比（mIoU），与最先进水平相差仅 0.3 个百分点。
• 即使在仅 128 个点的情况下，网络仍保持 86.1% 的准确率，优于 DGCNN（在点数低于 384 时出现显著下降）。
• 可视化结果表明，网络在包括 '耳塞' 和 '步枪' 等具有挑战性的类别中，均能实现一致且准确的部件分割。
• 模型对随机点丢弃表现出鲁棒性，表明其在遮挡或稀疏采样条件下具备强大的泛化能力。
• 消融研究证实，通过 SAW 层融合全局与局部特征，显著优于基线模型。