[论文解读] PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

Mingyang Jiang, Yiran Wu+3 more|arXiv (Cornell University)|Jul 2, 2018

3D Shape Modeling and Analysis参考文献 29被引用 341

一句话总结

PointSIFT 引入方向编码单元和多尺度特征表示到基于 PointNet 的架构，在 ScanNet 与 S3DIS 基准上提升 3D 语义分割的准确性。

ABSTRACT

Recently, 3D understanding research sheds light on extracting features from point cloud directly, which requires effective shape pattern description of point clouds. Inspired by the outstanding 2D shape descriptor SIFT, we design a module called PointSIFT that encodes information of different orientations and is adaptive to scale of shape. Specifically, an orientation-encoding unit is designed to describe eight crucial orientations, and multi-scale representation is achieved by stacking several orientation-encoding units. PointSIFT module can be integrated into various PointNet-based architecture to improve the representation ability. Extensive experiments show our PointSIFT-based framework outperforms state-of-the-art method on standard benchmark datasets. The code and trained model will be published accompanied by this paper.

研究动机与目标

• 以受 SIFT 启发的鲁棒局部描述符直接推动三维点云理解的动机。
• 提出 PointSIFT 模块，在八个方向上编码方向信息。
• 通过堆叠方向编码单元实现尺度感知的多尺度表示。
• 将 PointSIFT 集成到基于 PointNet++ 的编码-解码框架中，以提高分割性能。

提出的方法

• 引入方向编码（OE）单元，通过八个空间方向进行特征聚合，采用 8-邻域搜索（S8N）和三阶段方向编码卷积。
• 堆叠多个 OE 单元，创建具有快捷连接、用于尺度感知特征融合的多尺度 PointSIFT 模块。
• 把 PointSIFT 模块嵌入到类似 PointNet++ 的编码-解码架构中，放置在集合抽象（SA）和特征传播（FP）层之间。
• 使用 FP-快捷连接将对应的 SA 与 FP 层连接起来，以保留低层信息并加速收敛。
• 在原始点云上端到端训练，使用 MLP 进行初始特征嵌入，并进行下采样（SA）和上采样（FP），PointSIFT 交错。
• 在 S3DIS 和 ScanNet 语义分割基准上展示相对于最先进基线的改进。

实验结果

研究问题

• RQ1 将 SIFT 启发、方向编码的描述子整合到基于 PointNet 的架构中，是否能改善三维点云分割？
• RQ2 多尺度、方向感知的描述学习是否增强对三维数据中对象和场景尺度变化的鲁棒性？
• RQ3 FP-快捷连接和 PointSIFT 模块是否比标准 PointNet++ 流程带来更快的收敛和更高的分割精度？
• RQ4 PointSIFT 相对于 ScanNet、S3DIS 等标准三维语义分割基准，表现如何与最先进方法相比？

主要发现

• PointSIFT 在 ScanNet 和 S3DIS 基准上超越最先进方法，包括在 ScanNet 上相对提升 8.4% 的平均 IoU，在 S3DIS 上提升 12%。
• OE 单元有效编码八个方向，堆叠时提供多尺度局部描述子，提升分割性能。
• 在 SA 与 FP 层之间插入 PointSIFT 模块并使用 FP-快捷连接可以加速收敛并保留低层信息，从而提升整体精度。
• 与 PointNet++ 等基线相比，加入 PointSIFT 的网络在 ScanNet 上达到更高的逐体素准确率（86.2% 准确率，41.5 IoU 平均）以及在 S3DIS 上的整体准确率和平均 IoU 更高，分别为 88.72% 和 70.23%。
• 一个尺度感知的 toy 实验表明约 89% 的激活与输入形状的尺度对齐，表明模型学习了尺度感知表征。