[论文解读] VV-Net: Voxel VAE Net with Group Convolutions for Point Cloud Segmentation

Hsien-Yu Meng, Lin Gao+2 more|arXiv (Cornell University)|Nov 11, 2018

3D Shape Modeling and Analysis参考文献 31被引用 42

一句话总结

VV-Net 在体素网格内引入径向基函数插值的 VAE 和群等变 3D 卷积，以提升点云分割，在 ShapeNet 和 S3DIS 上达到最先进的结果。

ABSTRACT

We present a novel algorithm for point cloud segmentation. Our approach transforms unstructured point clouds into regular voxel grids, and further uses a kernel-based interpolated variational autoencoder (VAE) architecture to encode the local geometry within each voxel. Traditionally, the voxel representation only comprises Boolean occupancy information which fails to capture the sparsely distributed points within voxels in a compact manner. In order to handle sparse distributions of points, we further employ radial basis functions (RBF) to compute a local, continuous representation within each voxel. Our approach results in a good volumetric representation that effectively tackles noisy point cloud datasets and is more robust for learning. Moreover, we further introduce group equivariant CNN to 3D, by defining the convolution operator on a symmetry group acting on $\mathbb{Z}^3$ and its isomorphic sets. This improves the expressive capacity without increasing parameters, leading to more robust segmentation results. We highlight the performance on standard benchmarks and show that our approach outperforms state-of-the-art segmentation algorithms on the ShapeNet and S3DIS datasets.

研究动机与目标

• 通过将无结构的点转换为规则体素网格来推动鲁棒的点云分割。
• 用基于 RBF 的插值和预训练的 VAE 对体素内点分布进行编码，以获得紧凑的潜在表示。
• 在三维中引入群等变卷积，以捕捉内在对称性而不增加参数数量。
• 在 ShapeNet 部件分割和 S3DIS 语义分割数据集上证明性能提升。

提出的方法

• 将点云转换为体素网格，并用 k×k×k 子体素对体素进行细分。
• 使用径向基函数计算每个子体素的值，以获得光滑的局部表示。
• 用预训练的变分自编码器对体素级分布进行编码，以生成潜在的 l 维体素特征图。
• 在对称群 p4 和 p4m 上定义的群等变卷积神经网络应用，以捕获 Z^3 中的旋转和镜像对称性。
• 将逐点的 MLP 特征与序列化的体素特征拼接，并执行逐点多类分割。
• 独立训练 RBF-VAE 模块和分割网络，以便管理内存并改善收敛。

实验结果

研究问题

• RQ1 可以用连续、信息丰富的体素表示是否比占用网格更好地捕捉稀疏点分布？
• RQ2 在不增加模型参数的情况下，融入 3D 群等变卷积是否能够提升分割准确性？
• RQ3 相对于最先进方法，VV-Net 在标准基准（ShapeNet、S3DIS）上的表现如何？
• RQ4 RBF 核与其他核对体素表示质量的影响如何？
• RQ5 VV-Net 对缺失或损坏的点数据的鲁棒性如何？

主要发现

• 完整的 VV-Net（RBF-VAE 加群卷积）在 ShapeNet 部件分割的平均 IoU 上领先现有方法 2.7%。
• 在 S3DIS 语义分割上，相对于之前的方法，VV-Net 的平均 IoU 提升了 16.12%。
• RBF-VAE 即使在稀疏点分布的情况下也能实现有效的体素表示，而 0-1 占据度在该场景下无法收敛。
• 在三维对称群 p4 和 p4m 上的群卷积在不增加参数数量的情况下显著提升性能。
• 消融实验中，移除任一 RBF-VAE 或群卷积都会降低平均 IoU，突出两者的作用。
• 该方法对缺失数据具有鲁棒性，即使移除高达 87.5% 的点也几乎不损失精度。