[论文解读] Top-Down Beats Bottom-Up in 3D Instance Segmentation

Maksim Kolodiazhnyi, Анна Воронцова+2 more|arXiv (Cornell University)|Feb 6, 2023

Advanced Neural Network Applications被引用 5

一句话总结

TD3D 是首个完全卷积、无聚类、端到端的 3D 实例分割方法，采用自顶向下的范式，在准确率和速度上均优于当前最先进的自底向上方法。其在 ScanNet v2 上达到 47.3 mAP 的性能，同时比最准确的自底向上方法快 1.9 倍。

ABSTRACT

Most 3D instance segmentation methods exploit a bottom-up strategy, typically including resource-exhaustive post-processing. For point grouping, bottom-up methods rely on prior assumptions about the objects in the form of hyperparameters, which are domain-specific and need to be carefully tuned. On the contrary, we address 3D instance segmentation with a TD3D: the pioneering cluster-free, fully-convolutional and entirely data-driven approach trained in an end-to-end manner. This is the first top-down method outperforming bottom-up approaches in 3D domain. With its straightforward pipeline, it demonstrates outstanding accuracy and generalization ability on the standard indoor benchmarks: ScanNet v2, its extension ScanNet200, and S3DIS, as well as on the aerial STPLS3D dataset. Besides, our method is much faster on inference than the current state-of-the-art grouping-based approaches: our flagship modification is 1.9x faster than the most accurate bottom-up method, while being more accurate, and our faster modification shows state-of-the-art accuracy running at 2.6x speed. Code is available at https://github.com/SamsungLabs/td3d .

研究动机与目标

• 挑战自底向上 3D 实例分割方法的主导地位，这些方法依赖于计算密集型的后处理和超参数调优。
• 证明自顶向下的方法——在 2D 中已取得成功——可被有效适配到 3D 点云，而无需点分组。
• 开发一种完全稀疏、卷积、且可端到端训练的方法，使其在多种 3D 基准上具有良好的泛化能力。
• 在准确率和推理速度上均达到最先进水平，消除对手动聚类启发式方法的依赖。

提出的方法

• TD3D 使用 3D 目标检测生成初始实例提议作为 3D 边界框，以自顶向下的提议生成机制替代点分组。
• 采用 3D 稀疏 U-Net 对每个提议内的点进行逐点二值分割，以识别前景点。
• 通过结合 FCAF3D 和 IoU 分配器，使用类似 U-Net 的网络对提议进行精细化处理，将提议与真实框匹配。
• 该方法完全可微分，避免了对物体尺度或形状的先验假设，从而降低了对特定领域超参数的依赖。
• RoI 提取器会丢弃包含少于 200 个体素的提议，确保计算效率而不降低性能。
• 模型通过交叉熵损失进行点分类，结合可微分的掩码细化头进行联合训练。

实验结果

研究问题

• RQ1 是否能够设计一种自顶向下的 3D 实例分割方法，在不依赖聚类或后处理的前提下，超越成熟的自底向上方法？
• RQ2 一种完全数据驱动、可端到端训练的自顶向下方法，在包括室内和航拍数据集在内的多样化 3D 基准上，其泛化能力如何？
• RQ3 在自顶向下的 3D 实例分割框架中，初始提议数量如何影响准确率与推理速度之间的权衡？
• RQ4 在自顶向下的 3D 实例分割流程中，提议精细化阶段的阈值设定与分配策略的最优配置是什么？

主要发现

• TD3D 在 ScanNet v2 验证集上达到 47.3 mAP，准确率与或超过当前最先进自底向上方法。
• 旗舰版 TD3D 模型比最准确的自底向上方法（PointGroup）快 1.9 倍，展现出更优的速度-准确率权衡。
• TD3D 的快速变体在保持最先进准确率的同时，比现有方法快 2.6 倍。
• 初始提议数量的最优值约为 60 个，可在准确率与推理时间之间实现良好平衡。
• 当点二值分割阈值设为 0.2、IoU 分配器阈值设为 0.0 时，性能最佳，表明过滤操作并非必需。
• RoI 提取器的阈值可在 1 至 200 个体素范围内任意设置而不影响性能，证实该超参数具有强鲁棒性。