[论文解读] Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion

Shi Qiu, Saeed Anwar+1 more|arXiv (Cornell University)|Mar 12, 2021

3D Shape Modeling and Analysis参考文献 51被引用 22

一句话总结

该论文提出了一种用于真实世界大规模点云语义分割的新型基于点的深度学习网络，引入了双边上下文模块，利用几何和语义线索增强局部特征表示，并提出了一种自适应点级融合机制以整合多分辨率特征。该方法在语义分割任务中达到最先进性能，在SemanticKITTI数据集上达到59.9%的mIoU，较之前方法在平均交并比上提升了5.6%。

ABSTRACT

Given the prominence of current 3D sensors, a fine-grained analysis on the basic point cloud data is worthy of further investigation. Particularly, real point cloud scenes can intuitively capture complex surroundings in the real world, but due to 3D data's raw nature, it is very challenging for machine perception. In this work, we concentrate on the essential visual task, semantic segmentation, for large-scale point cloud data collected in reality. On the one hand, to reduce the ambiguity in nearby points, we augment their local context by fully utilizing both geometric and semantic features in a bilateral structure. On the other hand, we comprehensively interpret the distinctness of the points from multiple resolutions and represent the feature map following an adaptive fusion method at point-level for accurate semantic segmentation. Further, we provide specific ablation studies and intuitive visualizations to validate our key modules. By comparing with state-of-the-art networks on three different benchmarks, we demonstrate the effectiveness of our network.

研究动机与目标

• 为解决密集分布的真实世界点云中模糊的点表示问题。
• 减少大规模点云分割中的特征冗余，提升模型效率。
• 通过在点级融合多分辨率特征，增强全局上下文理解能力。
• 开发一种鲁棒的端到端网络，直接处理原始点云，无需中间表示。
• 通过消融研究与可视化分析，验证双边增强与自适应融合的有效性。

提出的方法

• 提出双边上下文模块，利用共享的邻域结构，同时增强局部几何与语义特征。
• 采用鲁棒的聚合过程，结合双边偏移与几何增强损失，以优化局部上下文表示。
• 采用多尺度编码器-解码器架构，捕获不同分辨率下的特征。
• 应用自适应融合模块，学习点级注意力权重以组合多分辨率特征，提升表示质量。
• 利用挤压-激励机制，根据全局上下文动态调整特征重要性。
• 在混合聚合策略中结合最大池化与平均池化操作，增强局部特征的鲁棒性。

实验结果

研究问题

• RQ1 在真实点云场景中，对几何与语义特征进行双边增强是否能改善局部上下文表示？
• RQ2 与固定或全局融合策略相比，多分辨率特征的自适应点级融合是否能带来更优的语义分割性能？
• RQ3 在真实世界基准上，该方法在准确率与效率方面与最先进模型相比表现如何？
• RQ4 双边模块与自适应融合模块中各组件对整体性能的贡献是什么？
• RQ5 该方法能否在包括室内外环境在内的多样化真实场景中实现良好泛化？

主要发现

• 所提网络在SemanticKITTI基准上达到59.9%的mIoU，较之前最先进方法在平均交并比上提升5.6%。
• 模型在小尺寸与细粒度物体（如汽车、卡车和摩托车）上表现优异，展现出更高的定位精度。
• 消融研究证实，双边模块中混合局部聚合（最大池化与平均池化）表现最佳，较基线提升2.1%的mIoU。
• 与简单相加或拼接相比，自适应融合模块显著提升分割精度，其中点级自适应融合达到最高mIoU。
• 网络保持了具有竞争力的推理速度（4.8帧/秒）与模型复杂度，适用于真实世界部署。
• 可视化结果表明，该方法能正确识别复杂场景边界与小物体，而基线模型如RandLA-Net则在这些区域出现误分类。