[论文解读] PointConv: Deep Convolutional Networks on 3D Point Clouds

Wenxuan Wu, Zhongang Qi+1 more|arXiv (Cornell University)|Nov 17, 2018

3D Shape Modeling and Analysis参考文献 47被引用 103

一句话总结

PointConv 引入了一种密度重加权、由多层感知器驱动的3D点云卷积，实现了平移不变和置换不变的3D卷积神经网络，具备内存高效的实现，并且有用于分割的反卷积对偶方法。

ABSTRACT

Unlike images which are represented in regular dense grids, 3D point clouds are irregular and unordered, hence applying convolution on them can be difficult. In this paper, we extend the dynamic filter to a new convolution operation, named PointConv. PointConv can be applied on point clouds to build deep convolutional networks. We treat convolution kernels as nonlinear functions of the local coordinates of 3D points comprised of weight and density functions. With respect to a given point, the weight functions are learned with multi-layer perceptron networks and density functions through kernel density estimation. The most important contribution of this work is a novel reformulation proposed for efficiently computing the weight functions, which allowed us to dramatically scale up the network and significantly improve its performance. The learned convolution kernel can be used to compute translation-invariant and permutation-invariant convolution on any point set in the 3D space. Besides, PointConv can also be used as deconvolution operators to propagate features from a subsampled point cloud back to its original resolution. Experiments on ModelNet40, ShapeNet, and ScanNet show that deep convolutional neural networks built on PointConv are able to achieve state-of-the-art on challenging semantic segmentation benchmarks on 3D point clouds. Besides, our experiments converting CIFAR-10 into a point cloud showed that networks built on PointConv can match the performance of convolutional networks in 2D images of a similar structure.

研究动机与目标

• 动机在于将卷积应用于不规则、无序的3D点云，而无需将其转换为网格。
• 提出 PointConv，通过学习的权重和密度函数近似连续的3D卷积。
• 实现对点集的可扩展、置换不变和平移不变的卷积。
• 将 PointConv 扩展为用于分割任务中特征传播的反卷积算子。
• 在合成和真实3D数据集上展示出接近最先进或强劲的性能，并将其与将 CIFAR-10 转换为点云后的2D CNN基准进行比较。

提出的方法

• 将卷积视为一个连续算子，并在局部坐标上用一个多层感知器近似权重函数。
• 通过核密度估计估计逆密度，并用一个MLP将其变换以重新加权贡献（蒙特卡洛原理）。
• 跨点共享权重以保持置换不变性，并应用一种内存高效的重构，将 PointConv 简化为矩阵乘法和1x1卷积。
• 在局部邻域内使用基于KNN的分组和一个1x1 MLP生成权重；通过带有密度尺度的加权和进行聚合。
• 引入 PointDeconv，通过插值将粗糙特征传播到更细的分辨率，然后进行基于 PointConv 的细化。
• 展示在 ModelNet40、ShapeNet Part、ScanNet 和 CIFAR-10 范例中的可扩展性和性能（点云和转换后的图像）。

实验结果

研究问题

• RQ1 在3D点上定义的连续的、密度加权卷积能否达到与基于网格的卷积神经网络相当的平移不变性和置换不变性？
• RQ2 如何高效实现 PointConv 以扩展到现代网络规模和分辨率？
• RQ3 一个反卷积对偶（PointDeconv）是否通过自顶向下的特征传播来提升分割效果？
• RQ4 将 PointConv 应用于具有挑战性的3D语义分割基准以及在将 CIFAR-10 视为点云问题时的表现如何？
• RQ5 逆密度缩放和MLP配置对性能和内存使用有何影响？

主要发现

方法	mIoU (%)
ScanNet [5]	30.6
PointNet++ [28]	33.9
SPLAT Net [35]	39.3
Tangent Convolutions [37]	43.8
PointConv	55.6

• 在ShapeNet Part上 PointConv 实现了接近最先进的性能，在 ModelNet40 上在使用3D点输入时也具有竞争力的结果。
• 在 ScanNet 语义场景标注中，PointConv 的平均IoU为55.6%，优于多种基线（基线为30.6%–43.8%）。
• 在将点云应用5层结构或类似VGG的结构时，PointConv 可以达到与2D CNN在 CIFAR-10 上的表现相匹配。
• 高效的 PointConv 公式将每层的内存从不可行的 8 GB 降低到实际水平，使得更深的网络成为可能。
• 逆密度缩放在消融实验中将结果提升约1%，尤其是在较前的层；非线性变换对有效的密度处理至关重要。
• PointDeconv 在分割任务中实现了特征的有效上采样/传播，利用跳跃连接和粗到细的信息。