[论文解读] Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework

Xu Ma, Can Qin+3 more|arXiv (Cornell University)|Feb 15, 2022

3D Shape Modeling and Analysis被引用 307

一句话总结

PointMLP 展示了一个用于点云分析的简单残差MLP网络，带有轻量级几何仿射模块，在速度方面优于许多局部几何提取器，同时达到最先进或具有竞争力的性能。

ABSTRACT

Point cloud analysis is challenging due to irregularity and unordered data structure. To capture the 3D geometries, prior works mainly rely on exploring sophisticated local geometric extractors using convolution, graph, or attention mechanisms. These methods, however, incur unfavorable latency during inference, and the performance saturates over the past few years. In this paper, we present a novel perspective on this task. We notice that detailed local geometrical information probably is not the key to point cloud analysis -- we introduce a pure residual MLP network, called PointMLP, which integrates no sophisticated local geometrical extractors but still performs very competitively. Equipped with a proposed lightweight geometric affine module, PointMLP delivers the new state-of-the-art on multiple datasets. On the real-world ScanObjectNN dataset, our method even surpasses the prior best method by 3.3% accuracy. We emphasize that PointMLP achieves this strong performance without any sophisticated operations, hence leading to a superior inference speed. Compared to most recent CurveNet, PointMLP trains 2x faster, tests 7x faster, and is more accurate on ModelNet40 benchmark. We hope our PointMLP may help the community towards a better understanding of point cloud analysis. The code is available at https://github.com/ma-xu/pointMLP-pytorch.

研究动机与目标

• 质疑在点云分析中是否有必要使用复杂的局部几何提取器。
• 提出一个不依赖重型局部特征提取器的深度残差MLP架构。
• 通过轻量级几何仿射模块提升鲁棒性与性能。
• 在多个点云基准数据集上展示效率和可扩展性。

提出的方法

• 使用纯粹的残差MLP网络来学习点云表示，未使用预定义的局部几何提取器。
• 在应用前MLP和后MLP（各两个残差块）后，通过最大池化聚合局部特征。
• 引入一个轻量级几何仿射模块以规范化并适应局部邻域特征。
• 开发一个极致版本，采用瓶颈化、参数更高效的MLP块以实现更快推理。
• 在每个阶段采用kNN（K=24）邻域进行局部聚合，组成多阶段层次结构。

实验结果

研究问题

• RQ1 纯粹的残差MLP架构（PointMLP）在没有复杂局部几何提取器的情况下，是否能够在标准点云基准上达到有竞争力或更优的性能？
• RQ2 轻量级几何仿射模块对稳定性、鲁棒性和准确性有何影响？
• RQ3 深度和架构变体如何影响ModelNet40和ScanObjectNN的性能与推理速度？
• RQ4 PointMLP在3D部件分割（ShapeNetPart）上的表现相较于最先进方法如何？
• RQ5 相对于卷积/图/注意力等点云方法，在准确性与效率之间是否存在有利的折衷？

主要发现

• PointMLP 在ModelNet40 1k点上实现了94.5% OA 的最先进水平。
• 在 ScanObjectNN PB_T50_RS 上，PointMLP 达到 83.9% mAcc 和 85.4% OA（四次运行取平均）。
• PointMLP-elite 将参数减至 0.68M，在 ModelNet40 上达到 90.9% mAcc、93.6% OA。
• 几何仿射模块在所有实验中稳定地使 PointMLP 的 OA 提升约 3 个百分点。
• PointMLP 在 ScanObjectNN 上超越若干方法，并且在推理时比具有复杂局部提取器的方法更快。
• 在 ShapeNetPart 上，PointMLP 展示出有竞争力的 mIoU 和实例IoU，推理速度快于 KPConv 的同时保持强准确性。