[论文解读] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

Charles R. Qi, Yi Li+2 more|arXiv (Cornell University)|Jun 7, 2017

Image Processing and 3D Reconstruction被引用 7,051

一句话总结

PointNet++ 引入一个分层网络，通过在嵌套局部区域上递归应用 PointNet，在度量空间中处理点集，从而实现对 3D 点云和非欧几何数据的多尺度、密度自适应特征学习。

ABSTRACT

Few prior works study deep learning on point sets. PointNet by Qi et al. is a pioneer in this direction. However, by design PointNet does not capture local structures induced by the metric space points live in, limiting its ability to recognize fine-grained patterns and generalizability to complex scenes. In this work, we introduce a hierarchical neural network that applies PointNet recursively on a nested partitioning of the input point set. By exploiting metric space distances, our network is able to learn local features with increasing contextual scales. With further observation that point sets are usually sampled with varying densities, which results in greatly decreased performance for networks trained on uniform densities, we propose novel set learning layers to adaptively combine features from multiple scales. Experiments show that our network called PointNet++ is able to learn deep point set features efficiently and robustly. In particular, results significantly better than state-of-the-art have been obtained on challenging benchmarks of 3D point clouds.

研究动机与目标

• 激励在位于度量空间且通常采样不均匀的点集上进行学习。
• 开发一个分层架构以在多个尺度上捕捉局部结构。
• 用自适应的多尺度特征聚合来解决非均匀采样密度的问题。
• 在分层框架中将 PointNet 作为局部特征学习器。
• 在 2D/3D 数据集和非欧几何空间中展示鲁棒性和效率。

提出的方法

• 定义一个分层神经网络，使用度量空间距离将点集划分为重叠的局部区域。
• 使用最远点采样（FPS）来为感受野选择质心。
• 使用球形查询将相邻点分组，并用一个小型 PointNet 对局部区域进行编码。
• 构建多个集合抽象层级，逐步抽象为更高层次的特征。
• 引入 multi-scale grouping (MSG) 和 multi-resolution grouping (MRG) 以处理不同的密度。
• 在训练阶段引入随机输入 dropout，以学习跨尺度的自适应加权，并通过基于距离的插值和跳跃连接将特征传播回原始点。

实验结果

研究问题

• RQ1 一个分层、度量空间感知的架构是否可以在点集的多尺度上捕捉局部几何结构？
• RQ2 在不牺牲细粒度细节的情况下，如何处理非均匀采样密度？
• RQ3 密度自适应的多尺度策略是否在真实世界、从密集到稀疏的点云基准上提升鲁棒性和准确性？
• RQ4 PointNet++ 是否对欧几里得和非欧几里得（内在度量）点集都有效？
• RQ5 多尺度与密度感知设计对语义分割和对象分类任务有何影响？

主要发现

• 分层架构在 MNIST 和 ModelNet40 分类任务上显著优于原始 PointNet。
• 多尺度与密度自适应策略在不同采样密度下实现鲁棒性能。
• MSG 与 DP（在训练阶段的随机输入 dropout）对密度变化具有强鲁棒性，在测试密度下降时性能损失最小。
• MRG 提供了一个在保持跨密度自适应信息聚合的同时具有计算效率的替代方案，优于 MSG。
• PointNet++ 在包括 ScanNet 的 3D 点云基准上的语义场景标注和 SHREC15 的非刚性形状分类任务中达到最先进或具竞争力的结果。
• 该方法通过使用内在特征和测地邻域来捕捉内在结构，泛化到非欧几何度量空间。