[论文解读] Recurrent Slice Networks for 3D Segmentation of Point Clouds

Qiangui Huang, Weiyue Wang+1 more|arXiv (Cornell University)|Feb 13, 2018

3D Shape Modeling and Analysis参考文献 7被引用 60

一句话总结

RSNet 引入了一种轻量级的局部依赖模块，通过将无序点投影到有序的切片序列，应用双向 RNN，并再进行切片上采样回到点；它在 S3DIS、ScanNet 和 ShapeNet 上获得最先进的结果，计算效率高。

ABSTRACT

Point clouds are an efficient data format for 3D data. However, existing 3D segmentation methods for point clouds either do not model local dependencies \cite{pointnet} or require added computations \cite{kd-net,pointnet2}. This work presents a novel 3D segmentation framework, RSNet\footnote{Codes are released here https://github.com/qianguih/RSNet}, to efficiently model local structures in point clouds. The key component of the RSNet is a lightweight local dependency module. It is a combination of a novel slice pooling layer, Recurrent Neural Network (RNN) layers, and a slice unpooling layer. The slice pooling layer is designed to project features of unordered points onto an ordered sequence of feature vectors so that traditional end-to-end learning algorithms (RNNs) can be applied. The performance of RSNet is validated by comprehensive experiments on the S3DIS\cite{stanford}, ScanNet\cite{scannet}, and ShapeNet \cite{shapenet} datasets. In its simplest form, RSNets surpass all previous state-of-the-art methods on these benchmarks. And comparisons against previous state-of-the-art methods \cite{pointnet, pointnet2} demonstrate the efficiency of RSNets.

研究动机与目标

• 在原始点云上直接进行三维分割的动机，而无需体素化或多视图投影。
• 高效建模局部依赖以提升分割精度。
• 提出一个轻量级的局部依赖模块，在时间和内存方面保持高效。
• 在大规模真实世界和合成数据集上验证 RSNet，以展示最先进的性能和效率。

提出的方法

• 引入 slice pooling 将无序点投影到有序的切片级特征序列。
• 应用一组双向 RNNs 来建模切片之间的依赖关系。
• 使用 slice unpooling 将更新后的切片特征映射回到单个点。
• 处理三个切片方向（x、y、z）以捕捉各向异性的局部上下文。
• 在输入点数 n 的线性时间复杂度 O(n) 和对切片分辨率 r 的 O(1) 保持线性时空复杂度。
• 默认使用包含 1x1 卷积以进行独立特征提取和基于 GRU 的 RNN 的 RSNet 架构（会对 LSTM/vanilla RNN 进行消融实验）。

实验结果

研究问题

• RQ1 如何在不进行体素化或密集 3D 卷积的情况下， 高效建模点云中的局部几何依赖？
• RQ2 切片划分（分辨率 r）和块大小对分割精度与计算的影响是什么？
• RQ3 切片池化和切片去池化是否能够有效地利用 RNN 捕获相邻切片之间的上下文？
• RQ4 在 S3DIS、ScanNet 和 ShapeNet 上，RSNet 在精度和效率方面与最先进的点云分割方法相比如何？

主要发现

• RSNet 在 S3DIS 和 ScanNet 上在不使用数据增强的情况下实现最先进的性能，超过了先前的基于体素的方法和其他点云方法。
• RSNet 在大型室内场景和合成数据上，持续提升均值 IoU 和均值精度，相较于先前方法。
• 局部依赖模块（slice pooling + 双向 RNNs + slice unpooling）对于捕捉局部几何至关重要，相较于 PointNet 类基线带来显著提升。
• RSNet 提供有利的推理速度和内存使用，在速度方面优于若干 PointNet++ 配置，且内存消耗低于传统基线。
• 消融研究显示，在 S3DIS 上，采用沿所有轴的 2–3 cm 切片分辨率和 1m 块大小可获得最佳性能，且 GRU 单元在此设置中优于 vanilla RNN 和 LSTM。