[论文解读] PointCNN: Convolution On $\mathcal{X}$-Transformed Points

Yangyan Li, Rui Bu+4 more|arXiv (Cornell University)|Jan 23, 2018

3D Shape Modeling and Analysis参考文献 60被引用 123

一句话总结

PointCNN 引入一个 𝒳-Conv 运算符，它学习一个点级 𝒳-变换来权重和置换邻域特征，使在不规则点云上实现类似 CNN 的学习，并在分类与分割基准上取得具有竞争力的结果。

ABSTRACT

We present a simple and general framework for feature learning from point clouds. The key to the success of CNNs is the convolution operator that is capable of leveraging spatially-local correlation in data represented densely in grids (e.g. images). However, point clouds are irregular and unordered, thus directly convolving kernels against features associated with the points, will result in desertion of shape information and variance to point ordering. To address these problems, we propose to learn an $\mathcal{X}$-transformation from the input points, to simultaneously promote two causes. The first is the weighting of the input features associated with the points, and the second is the permutation of the points into a latent and potentially canonical order. Element-wise product and sum operations of the typical convolution operator are subsequently applied on the $\mathcal{X}$-transformed features. The proposed method is a generalization of typical CNNs to feature learning from point clouds, thus we call it PointCNN. Experiments show that PointCNN achieves on par or better performance than state-of-the-art methods on multiple challenging benchmark datasets and tasks.

研究动机与目标

• 在不强加规则网格结构的情况下促进点云中空间局部相关性的学习。
• 开发一个 𝒳- transformation，在卷积前对邻域特征进行加权和置换。
• 将 CNN 泛化到点云，并构建用于分类和分割的分层结构。

提出的方法

• 引入 𝒳-Conv，它从局部邻域坐标计算一个学习的 𝑘×𝑘 𝒳-变换。
• 利用辅助 MLP 将点坐标提升为 𝒳-Conv 输入特征，然后在常规卷积之前应用一个学习的 𝑘×𝑘 𝒳-变换来对特征进行加权和置换。
• 通过在 𝒳-Conv 层之间交替点池化/下采样以及可选扩张，构建分层的 PointCNN 架构以获得更大的感受野。
• 在以代表点为中心的局部坐标系下构造输出，确保输出依赖于相对几何信息而非绝对位置。
• 可选择通过在后续 𝒳-Conv 层之前再利用一个 MLP 来融合全局坐标。
• 利用标准反向传播端到端训练，并通过对邻域点进行随机采样/打乱的数据增强来实现训练。

实验结果

研究问题

• RQ1 𝒳-变换是否能够学会对邻域特征进行加权和置换，以恢复 naïve 点级卷积所丢失的形状信息？
• RQ2 PointCNN 是否将 CNN 风格的特征学习推广到不规则、无序的点云，同时保持可微分并可端到端训练？
• RQ3 哪些结构选择（连接密度、扩张、跳跃连接）可以在分类和分割任务中提升性能？
• RQ4 与其他点云网络和基于图像的 CNN 相比，PointCNN 在标准基准测试中的表现如何？

主要发现

数据集	ModelNet40 mA	ModelNet40 OA	ScanNet mA	ScanNet OA
PointCNN	88.8	92.5	88.1	92.2

• PointCNN 在 ModelNet40 和 ScanNet 的分类任务中，使用 1024 个输入点达到与现有最先进方法相竞争的结果。
• PointCNN 在 ShapeNet Parts 的分割任务中，在 pIoU、mpIoU 与 OA 指标上优于若干方法。
• 消融研究显示 𝒳-Conv 是相对于没有 𝒳-变换的变体在性能上的关键贡献者。
• 可视化表明 𝒳-变换集中特征并为代表点提供了更具辨识性的表示。
• 带扩张的密集/双路径版本在保持可行的参数数量的同时实现了更广的感受野。
• PointCNN 在草图数据集上也表现出强劲的性能，在使用点云表示时对 MNIST/CIFAR10 也保持了合理的结果。
• 与 PointNet/PointNet++ 及其他三维架构相比，PointCNN 提供在参数量和 FLOP 的开销相对适中的情况下的有利精度。