[论文解读] Semantic Classification of 3D Point Clouds with Multiscale Spherical Neighborhoods

Hugues Thomas, Jean‐Emmanuel Deschaud+3 more|arXiv (Cornell University)|Aug 1, 2018

3D Shape Modeling and Analysis参考文献 23被引用 4

一句话总结

本文提出了一种新颖的多尺度球形邻域定义，用于3D点云语义分类，通过比例子采样确保几何一致性与特征稳定性。该方法在随机森林框架下实现了最先进性能，在大规模数据集上优于传统手工设计特征与深度学习模型，表明精心设计的几何特征可在无需分割或后处理的情况下媲美复杂的基于学习的方法。

ABSTRACT

This paper introduces a new definition of multiscale neighborhoods in 3D point clouds. This definition, based on spherical neighborhoods and proportional subsampling, allows the computation of features with a consistent geometrical meaning, which is not the case when using k-nearest neighbors. With an appropriate learning strategy, the proposed features can be used in a random forest to classify 3D points. In this semantic classification task, we show that our multiscale features outperform state-of-the-art features using the same experimental conditions. Furthermore, their classification power competes with more elaborate classification approaches including Deep Learning methods.

研究动机与目标

• 为解决基于k近邻（KNN）的多尺度邻域中几何不一致的问题，该问题在不同尺度下会扭曲特征。
• 开发一种多尺度邻域定义，以保持几何意义的同时实现在不同点云密度下的特征计算一致性。
• 评估基于新邻域定义提取的手工几何特征是否可匹配或超越基于深度学习的语义分割方法的性能。
• 在不同数据集和扫描技术（包括机载与地面激光雷达）之间展示泛化能力。
• 为3D语义分类提供一种稳健、高效且可解释的替代深度学习的方法。

提出的方法

• 基于固定半径球形邻域提出多尺度球形邻域定义，每个尺度通过比例子采样生成，以维持一致的点密度。
• 通过迭代子采样生成多个尺度，确保每个邻域包含受控数量的点（由参数ρ控制），同时保持空间结构。
• 在每个球形邻域内计算简单几何特征（如局部协方差、垂直度与高度分布），以描述局部几何特性。
• 使用随机森林分类器独立预测每个点的语义标签，输入为多尺度特征。
• 采用跨城市训练与测试协议（例如，在里尔训练，在巴黎测试），以评估泛化能力与鲁棒性。
• 使用参数ρ控制每个邻域的子采样点数，以在特征质量与计算效率之间取得平衡。

实验结果

研究问题

• RQ1 与基于KNN的邻域相比，采用比例子采样的多尺度球形邻域定义是否能显著提升3D点云特征的几何一致性和判别能力？
• RQ2 在相同实验设置下，基于所提邻域定义提取的手工几何特征在多大程度上可超越当前最先进特征？
• RQ3 仅使用这些特征的简单随机森林分类器是否可实现与复杂深度学习语义分割模型相当的性能？
• RQ4 该方法在不同城市、扫描技术与点云密度下的泛化能力如何？
• RQ5 当调整子采样参数ρ时，特征质量与计算速度之间的权衡关系如何？

主要发现

• 所提出的多尺度球形邻域显著提升了特征一致性与几何意义，而基于KNN的邻域在不同尺度下存在明显失真。
• 在Semantic3D与Paris-Lille-3D数据集上，该方法在相同实验条件下优于当前最先进手工特征，实现了更高的平均交并比（mIoU）。
• 在更大的Paris-Lille-3D数据集上，该方法实现了与复杂深度学习模型（包括PointNet++与Superpoint Graphs）相当或更优的mIoU分数，且仅使用随机森林且无需后处理。
• 分类器在城市间具有良好的泛化能力，在里尔训练后于巴黎测试中仍表现强劲，即使建筑风格与扫描条件存在差异。
• 参数ρ控制着准确率与速度之间的权衡：当ρ从1增至3时，mIoU显著上升，而ρ>5后趋于平稳，因此ρ=5是性能与效率之间的实用平衡点。
• 该方法表明，高质量手工特征可实现与深度学习模型相当的性能，提示特征设计在3D语义分割领域仍是极具价值的研究方向。