[论文解读] Towards Accurate Instance Segmentation in Large-Scale Lidar Point Clouds

Binbin Xiang, Torben Peters+5 more|arXiv (Cornell University)|Jan 1, 2023

Remote Sensing and LiDAR Applications被引用 3

一句话总结

该论文提出了一种用于大规模3D LiDAR点云的自底向上全景分割流程，结合3D中心偏移预测与判别性点嵌入，以提升紧密排列或重叠物体的实例分割性能。该方法在城市NPM3D数据集上取得了74.3%的F1分数，在密集森林FOR-instance数据集上达到了68.9%的F1分数，相较于PointGroup在后者上显著提升了超过17个百分点。

ABSTRACT

Panoptic segmentation is the combination of semantic and instance segmentation: assign the points in a 3D point cloud to semantic categories and partition them into distinct object instances. It has many obvious applications for outdoor scene understanding, from city mapping to forest management. Existing methods struggle to segment nearby instances of the same semantic category, like adjacent pieces of street furniture or neighbouring trees, which limits their usability for inventory- or management-type applications that rely on object instances. This study explores the steps of the panoptic segmentation pipeline concerned with clustering points into object instances, with the goal to alleviate that bottleneck. We find that a carefully designed clustering strategy, which leverages multiple types of learned point embeddings, significantly improves instance segmentation. Experiments on the NPM3D urban mobile mapping dataset and the FOR-instance forest dataset demonstrate the effectiveness and versatility of the proposed strategy.

研究动机与目标

• 解决在大规模室外3D LiDAR点云中准确分割相邻或重叠物体实例的挑战。
• 克服实例分割中的瓶颈，特别是针对相同语义类别物体（如相邻树木或街道路灯）的分割问题。
• 开发一种鲁棒且可泛化的流程，无需针对特定区域进行调优或复杂的后处理。
• 在物体边界模糊或重叠的城区与森林环境中提升性能。
• 证明结合几何线索（偏移）与学习到的嵌入在将点聚类为独立实例方面的有效性。

提出的方法

• 使用圆柱形滑动窗口将大规模点云划分为可管理的、重叠的输入块以进行处理。
• 采用3D UNet主干网络提取点级特征，随后通过独立分支分别进行语义分割、中心偏移预测与嵌入特征学习。
• 应用双分支聚类策略：利用预测的3D中心偏移来优化初始聚类，并利用学习到的判别性嵌入来分离重叠或相邻的实例。
• 执行分块推理，并在相邻圆柱体之间合并预测结果，以确保一致性并避免实例碎片化。
• 应用非极大值抑制（NMS）与ScoreNet头以优化实例预测并提升分割质量。
• 使用体素网格滤波，体素大小设定为20–25 cm，以在计算效率与空间上下文保留之间取得平衡。

实验结果

研究问题

• RQ1 结合3D偏移预测与学习到的嵌入的混合聚类策略是否能显著提升大规模3D点云中的实例分割性能？
• RQ2 在具有重叠或相邻同类别实例（如相邻树木或街道路灯）的复杂场景中，所提方法表现如何？
• RQ3 在不同户外环境中，实现鲁棒实例分割的最优输入块尺寸（圆柱半径）与体素分辨率为何？
• RQ4 与现有最先进方法（如PointGroup）相比，该方法在实例分割准确率与跨数据集泛化能力方面表现如何？
• RQ5 该方法在无需区域特定超参数调优或复杂后处理的情况下，能达到多高的性能水平？

主要发现

• 所提方法在NPM3D城市数据集上取得74.3%的F1分数，显著优于基线方法。
• 在FOR-instance森林数据集上，该方法达到68.9%的F1分数，较PointGroup提升17.3个百分点。
• 在20–40 cm范围内，体素大小对性能影响极小，最优性能出现在20–25 cm。
• 将圆柱半径从4 m增加至8 m可提升实例分割指标，因能更好地覆盖完整树体实例。
• 偏移预测与判别性嵌入的结合可有效分离连续或重叠的物体，尤其在边界模糊的森林环境中表现突出。
• 该方法在无需区域特定调优或后处理的情况下，可在城市与森林等多种环境中实现良好泛化，经城市与森林数据集验证有效。