[论文解读] Parameter is Not All You Need: Starting from Non-Parametric Networks for 3D Point Cloud Analysis

Renrui Zhang, Liuhui Wang+5 more|arXiv (Cornell University)|Mar 14, 2023

3D Shape Modeling and Analysis被引用 32

一句话总结

引入 Point-NN，是一个用于3D点云分析的完全无参数网络，并通过 Parametric Network (Point-PN) 和一个即插即用推理模块进行扩展，以提升现有模型的效果而无需训练。

ABSTRACT

We present a Non-parametric Network for 3D point cloud analysis, Point-NN, which consists of purely non-learnable components: farthest point sampling (FPS), k-nearest neighbors (k-NN), and pooling operations, with trigonometric functions. Surprisingly, it performs well on various 3D tasks, requiring no parameters or training, and even surpasses existing fully trained models. Starting from this basic non-parametric model, we propose two extensions. First, Point-NN can serve as a base architectural framework to construct Parametric Networks by simply inserting linear layers on top. Given the superior non-parametric foundation, the derived Point-PN exhibits a high performance-efficiency trade-off with only a few learnable parameters. Second, Point-NN can be regarded as a plug-and-play module for the already trained 3D models during inference. Point-NN captures the complementary geometric knowledge and enhances existing methods for different 3D benchmarks without re-training. We hope our work may cast a light on the community for understanding 3D point clouds with non-parametric methods. Code is available at https://github.com/ZrrSkywalker/Point-NN.

研究动机与目标

• 重新评估用于3D点云处理的非学习组件（FPS、k-NN、池化）及评估它们的独立有效性。
• 证明一个具有三角嵌入的非参数编码器在不训练的情况下也能实现具有竞争力的结果。
• 展示 Point-NN 如何作为参数化网络（Point-PN）的前身，具备少量可学习参数。
• 提出一个在推理阶段增强现有3D模型的即插即用模块，无需重新训练。

提出的方法

• 由非参数组件构建 Point-NN：FPS、k-NN，以及池化，配以三角 PosE 嵌入。
• 使用一个非参数编码器产生全局特征和一个点记忆库用于基于记忆的分类。
• 通过三角 PosE 编码原始点以揭示局部几何而不需要可学习参数。
• 通过在4个阶段进行拼接、基于 PosE 的加权以及 Max/Avg 池化来聚合局部几何。
• 通过缓存训练特征 (F_mem) 和标签 (T_mem) 来建立点记忆库，并通过余弦相似性和标签整合对测试样本进行分类。
• 通过插入线性层将 Point-NN 扩展为 Point-PN，形成具有极少参数且竞争力的精度的参数化网络。
• 提供一个即插即用模块，在推理期间与现成模型融合 Point-NN 的预测，从而在无需重新训练的情况下提升准确性。

实验结果

研究问题

• RQ1 纯粹的非参数组件（FPS、k-NN、池化、三角嵌入）是否可以在不训练的情况下实现对3D点云的强性能？
• RQ2 当扩展为带有少量可学习层的参数形式 Point-PN 时，非参数编码框架能走多远？
• RQ3 Point-NN 能否作为一个即插即用模块，在不重新训练的情况下提升现有训练好的3D模型的推理性能？
• RQ4 基于记忆库的、基于相似性的分类在3D任务如分类、分割和检测上的相对收益如何？

主要发现

• Point-NN 在形状分类、部件分割和3D目标检测上无需训练即可取得有利的性能，某些基准上超过了部分训练模型。
• 在少样本分类中，Point-NN 显著优于竞争的训练模型，准确率提升超过20%。
• Point-PN（Point-NN 加线性层）以仅 0.8M 参数实现有竞争力的精度（例如 ModelNet40 93.8%，0.8M）。
• 作为一个即插即用模块，Point-NN 能在不重新训练的情况下将现有模型的准确性提升最多约 2%（分类）和在检测中的 AR 提升最高可达 11%。
• 三角嵌入（PosE）实现了对高频3D几何的捕捉和无学习算子的有效相对定位。
• 带余弦相似性的记忆库提供强大的判别力和对测试样本的自适应标签。