[论文解读] ReDAL: Region-based and Diversity-aware Active Learning for Point Cloud Semantic Segmentation

Tsung-Han Wu, Yueh-Cheng Liu+5 more|arXiv (Cornell University)|Jul 25, 2021

3D Shape Modeling and Analysis参考文献 30被引用 4

一句话总结

ReDAL 是一种基于区域且具备多样性感知能力的主动学习框架，用于点云语义分割。该框架仅选择信息量丰富且多样化的子场景区域进行标注，从而降低标注成本。通过结合 softmax 熵、颜色不连续性与结构复杂度对区域进行评分，并采用贪心的多样性感知选择策略，ReDAL 在 S3DIS 和 SemanticKITTI 数据集上分别仅使用不到 15% 和 5% 的标注数据，即可达到全监督性能的 90%。

ABSTRACT

Despite the success of deep learning on supervised point cloud semantic segmentation, obtaining large-scale point-by-point manual annotations is still a significant challenge. To reduce the huge annotation burden, we propose a Region-based and Diversity-aware Active Learning (ReDAL), a general framework for many deep learning approaches, aiming to automatically select only informative and diverse sub-scene regions for label acquisition. Observing that only a small portion of annotated regions are sufficient for 3D scene understanding with deep learning, we use softmax entropy, color discontinuity, and structural complexity to measure the information of sub-scene regions. A diversity-aware selection algorithm is also developed to avoid redundant annotations resulting from selecting informative but similar regions in a querying batch. Extensive experiments show that our method highly outperforms previous active learning strategies, and we achieve the performance of 90% fully supervised learning, while less than 15% and 5% annotations are required on S3DIS and SemanticKITTI datasets, respectively. Our code is publicly available at https://github.com/tsunghan-wu/ReDAL.

研究动机与目标

• 通过仅聚焦于最具信息量的区域来降低大规模点云语义分割的高标注成本。
• 解决对冗余或均匀区域（如墙壁和地板）进行标注效率低下的问题，这些区域对模型性能贡献甚微。
• 开发一种可泛化的主动学习框架，兼容多种点云分割深度学习架构。
• 通过优先标注小尺寸、复杂或稀有物体（如行人、椅子）来缓解类别不平衡问题。
• 通过多样性感知选择机制避免对视觉上相似区域的重复查询，从而提升主动学习效率。

提出的方法

• 该方法使用 softmax 熵来衡量模型不确定性，识别预测模糊的区域。
• 颜色不连续性和结构复杂度被用作辅助信号，识别具有高视觉与几何变化的区域，这些区域对学习更具信息量。
• 通过基于聚类的方法从点云中提取区域，并使用熵、颜色不连续性与结构复杂度的加权组合对每个区域进行评分。
• 采用多样性感知的贪心选择算法，通过在学习的嵌入空间中测量特征级相似性，对查询批次中相似区域施加惩罚。
• 该框架采用迭代运行机制：选择区域、获取标注、微调模型，并重复此过程直至性能趋于饱和。
• 该方法兼容多种点云网络（如 SPVCNN、MinkowskiNet）和数据集（S3DIS、SemanticKITTI）。

实验结果

研究问题

• RQ1 仅选择子场景区域而非完整点云，是否能显著降低 3D 语义分割的标注成本，同时不损害模型性能？
• RQ2 如何在模型不确定性之外，有效利用视觉与结构线索来度量区域的信息含量？
• RQ3 在 3D 点云设置中，避免对相似区域重复查询在多大程度上能提升主动学习效率？
• RQ4 基于区域且具备多样性感知的策略是否能在标签效率方面超越传统的扫描级主动学习与随机采样？
• RQ5 所提出的方法如何通过在标注选择中优先考虑稀有或复杂物体来缓解类别不平衡问题？

主要发现

• 在 S3DIS 数据集上，ReDAL 仅使用少于 15% 的标注数据，即可达到全监督学习 mIoU 的 90%。
• 在 SemanticKITTI 数据集上，ReDAL 仅使用 5% 的标注点，即可达到与全监督方法相当的性能。
• 与基于扫描的主动学习相比，该区域选择策略在相同网络架构下使 mIoU 提升超过 10%。
• 多样性感知组件可有效避免对视觉上相似区域的重复标注，从而提升性能——尤其在 SPVCNN 上，其性能优于随机区域选择。
• 当标注点超过 9% 时，添加颜色与结构复杂度特征可提升 MinkowskiNet 的性能，但在 SPVCNN 上影响较小。
• 该方法通过将更多标注预算分配给小尺寸、复杂物体（如行人、自行车），缓解了标签不平衡问题，使其 IoU 在低标注预算下最高提升达 29.5%。