[论文解读] OccuSeg: Occupancy-aware 3D Instance Segmentation

Lei Han, Tian Zheng+2 more|arXiv (Cornell University)|Mar 14, 2020

3D Shape Modeling and Analysis参考文献 49被引用 5

一句话总结

OccuSeg 提出了一种新颖的3D实例分割框架，通过引入‘3D占用大小’（即每个实例占据的体素数量）作为占用感知监督信号，提升了模型的鲁棒性和聚类准确性。通过在多任务学习中联合学习空间嵌入与占用信号，该方法在ScanNetV2、S3DIS和SceneNN数据集上实现了最先进性能，且具有高效率。

ABSTRACT

3D instance segmentation, with a variety of applications in robotics and augmented reality, is in large demands these days. Unlike 2D images that are projective observations of the environment, 3D models provide metric reconstruction of the scenes without occlusion or scale ambiguity. In this paper, we define "3D occupancy size", as the number of voxels occupied by each instance. It owns advantages of robustness in prediction, on which basis, OccuSeg, an occupancy-aware 3D instance segmentation scheme is proposed. Our multi-task learning produces both occupancy signal and embedding representations, where the training of spatial and feature embeddings varies with their difference in scale-aware. Our clustering scheme benefits from the reliable comparison between the predicted occupancy size and the clustered occupancy size, which encourages hard samples being correctly clustered and avoids over segmentation. The proposed approach achieves state-of-the-art performance on 3 real-world datasets, i.e. ScanNetV2, S3DIS and SceneNN, while maintaining high efficiency.

研究动机与目标

• 为解决机器人和AR/VR应用中常见于复杂、遮挡环境下的鲁棒3D实例分割挑战。
• 通过引入实例级别的占用大小作为监督信号，提升聚类的可靠性。
• 通过利用尺度感知的空间与特征嵌入，实现出色的性能与高效的推理。
• 通过占用大小监督减少过分割现象，并改善对困难样本的聚类效果。
• 在无需尺度或遮挡歧义的度量3D重建基础上，建立3D实例分割的新基准。

提出的方法

• 该方法提出一种多任务学习框架，联合预测每个3D点或体素的空间嵌入与占用信号。
• 占用大小定义为单个实例所占据的体素数量，作为聚类任务的强监督信号。
• 通过尺度感知监督训练空间与特征嵌入，以更好地捕捉不同尺度下的实例几何结构。
• 聚类方案利用预测的占用大小与聚类后实例大小进行比较，引导正确分组，减少过分割。
• 网络架构集成了3D卷积层，从原始点云或体素网格端到端学习表示。
• 该方法采用可微分的聚类损失，以增强预测占用大小与聚类结果之间的一致性。

实验结果

研究问题

• RQ1 占用大小能否作为可靠的监督信号，以提升3D实例分割性能？
• RQ2 尺度感知嵌入学习如何提升3D实例聚类的准确性？
• RQ3 占用感知监督能否减少过分割，特别是对困难或小型实例？
• RQ4 所提出的方法是否在保持高推理效率的同时实现最先进性能？
• RQ5 该方法在ScanNetV2、S3DIS和SceneNN等多样化真实世界3D数据集上是否具备良好的泛化能力？

主要发现

• OccuSeg在ScanNetV2数据集上实现了最先进性能，实例分割准确率超越了先前方法。
• 该方法在S3DIS和SceneNN等多个基准上表现出强大的泛化能力，证实其对领域偏移的鲁棒性。
• 通过利用占用大小，模型显著减少了过分割现象，并改善了对困难、小型或遮挡实例的聚类效果。
• 所提出的带占用监督的多任务学习框架，带来了更可靠、更一致的实例预测结果。
• 该方法保持了高推理效率，适用于机器人和AR/VR中的实时应用。
• 消融实验表明，占用大小监督显著提升了聚类性能与模型鲁棒性。