[论文解读] Scalable SoftGroup for 3D Instance Segmentation on Point Clouds

Thang X. Vu, Kookhoi Kim+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 SoftGroup 和 SoftGroup++，一种用于点云上 3D 实例分割的可扩展框架，通过使用软语义分数而非硬预测来减少分组过程中的误差传播，从而提高精度。SoftGroup++ 通过八叉树 k-NN、类别感知金字塔缩放和延迟去体素化技术，在大规模场景中实现高达 6 倍的推理速度提升，在室内和室外基准测试中，AP50 提升 6–16%。

ABSTRACT

This paper considers a network referred to as SoftGroup for accurate and scalable 3D instance segmentation. Existing state-of-the-art methods produce hard semantic predictions followed by grouping instance segmentation results. Unfortunately, errors stemming from hard decisions propagate into the grouping, resulting in poor overlap between predicted instances and ground truth and substantial false positives. To address the abovementioned problems, SoftGroup allows each point to be associated with multiple classes to mitigate the uncertainty stemming from semantic prediction. It also suppresses false positive instances by learning to categorize them as background. Regarding scalability, the existing fast methods require computational time on the order of tens of seconds on large-scale scenes, which is unsatisfactory and far from applicable for real-time. Our finding is that the $k$-Nearest Neighbor ($k$-NN) module, which serves as the prerequisite of grouping, introduces a computational bottleneck. SoftGroup is extended to resolve this computational bottleneck, referred to as SoftGroup++. The proposed SoftGroup++ reduces time complexity with octree $k$-NN and reduces search space with class-aware pyramid scaling and late devoxelization. Experimental results on various indoor and outdoor datasets demonstrate the efficacy and generality of the proposed SoftGroup and SoftGroup++. Their performances surpass the best-performing baseline by a large margin (6\% $\sim$ 16\%) in terms of AP$_{50}$. On datasets with large-scale scenes, SoftGroup++ achieves a 6$ imes$ speed boost on average compared to SoftGroup. Furthermore, SoftGroup can be extended to perform object detection and panoptic segmentation with nontrivial improvements over existing methods. The source code and trained models are available at \url{https://github.com/thangvubk/SoftGroup}.

研究动机与目标

• 解决由硬语义预测引起的误差传播问题，该问题导致 IoU 值低和误报增多。
• 通过允许点属于多个类别来提升实例分割精度，方法是使用软语义分数。
• 通过减少 k-NN 和搜索空间中的计算瓶颈，实现在大规模 3D 场景中的实时推理。
• 将方法扩展至目标检测和全景分割任务，并保持一致的性能提升。
• 开发一种可扩展、泛化能力强的框架，在保持高精度的同时显著降低大规模点云上的推理时间。

提出的方法

• SoftGroup 使用软语义分数而非硬的 one-hot 预测进行实例分组，从而减少因局部模糊性导致的误分类。
• 采用自顶向下的精炼阶段，基于与真实标注的 IoU 将实例提议分类为正样本或负样本，以优化正样本并抑制误报。
• SoftGroup++ 将原始 k-NN 替换为基于八叉树的 k-NN，将时间复杂度从 O(n²) 降低至 O(n log n)。
• 类别感知金字塔缩放通过在分组过程中聚焦于高置信度、类别特定的区域来减少搜索空间。
• 延迟去体素化将体素化操作推迟到后期阶段，从而保留空间分辨率并减少中间计算量。
• 该框架支持实例分割、目标检测和全景分割任务的端到端训练与推理。

实验结果

研究问题

• RQ1 软语义分数能否通过减轻噪声语义预测带来的误差传播来提升实例分割精度？
• RQ2 如何有效减少大规模 3D 点云处理中 k-NN 的计算瓶颈？
• RQ3 所提方法在保持高精度的前提下，其可扩展性在大规模场景中能达到何种程度？
• RQ4 SoftGroup 框架能否泛化至其他 3D 感知任务（如目标检测和全景分割）？
• RQ5 实例掩码的后融合对语义分割性能有何影响？

主要发现

• 在多个室内和室外数据集上，SoftGroup 相较于最佳基线方法，AP50 提升 6–16%，在 ScanNet 上最高提升达 16%。
• 在大规模场景中，SoftGroup++ 相较于 SoftGroup 实现平均 6 倍的速度提升，将 450 万点的场景推理时间从数十秒缩短至 10 秒以内。
• 在 ScanNet v2 验证集上，将实例掩码与语义图进行后融合后，mIoU 提升 0.7 个百分点，尤其对语义相似类别（如橱柜与冰箱）提升显著。
• 在目标检测任务中，SoftGroup 和 SoftGroup++ 在 ScanNet 上分别取得 AP50 为 59.6 和 AP25 为 71.7，优于现有方法。
• 在 SemanticKITTI 的全景分割任务中，SoftGroup 和 SoftGroup++ 取得具有竞争力的 PQ 分数，当与先进模型（如 Panoptic-PHNet）结合时，仍有进一步提升潜力。
• 将 SoftGroup 与 SSTNet 集成后，AP50 从 64.9% 提升至 67.7%，表明其与基于超级点的方法具有强大协同效应。