[论文解读] TORNADO-Net: mulTiview tOtal vaRiatioN semAntic segmentation with Diamond inceptiOn module

Martin Gerdzhev, Ryan Razani+2 more|arXiv (Cornell University)|Aug 24, 2020

3D Shape Modeling and Analysis参考文献 32被引用 15

一句话总结

TORNADO-Net 是一种新颖的 3D LiDAR 语义分割网络，结合了多视角（鸟瞰图与距离视图）特征提取与基于 ResNet 的编码器-解码器架构，通过钻石形上下文模块和融合总 Variation、Lovász-Softmax 与加权交叉熵的混合损失函数进行增强。其在 SemanticKITTI 基准测试中实现了最先进性能，mIoU 达到 64.2%，通过提升局部一致性与降噪能力，优于先前方法。

ABSTRACT

Semantic segmentation of point clouds is a key component of scene understanding for robotics and autonomous driving. In this paper, we introduce TORNADO-Net - a neural network for 3D LiDAR point cloud semantic segmentation. We incorporate a multi-view (bird-eye and range) projection feature extraction with an encoder-decoder ResNet architecture with a novel diamond context block. Current projection-based methods do not take into account that neighboring points usually belong to the same class. To better utilize this local neighbourhood information and reduce noisy predictions, we introduce a combination of Total Variation, Lovasz-Softmax, and Weighted Cross-Entropy losses. We also take advantage of the fact that the LiDAR data encompasses 360 degrees field of view and uses circular padding. We demonstrate state-of-the-art results on the SemanticKITTI dataset and also provide thorough quantitative evaluations and ablation results.

研究动机与目标

• 为解决 3D LiDAR 语义分割中预测结果噪声大且不一致的问题，通过利用局部邻域一致性来应对。
• 通过多视角投影（鸟瞰图与距离视图）和一种新型全局上下文模块，提升稀疏、非结构化 LiDAR 点云中的特征表示能力。
• 通过将总 Variation 损失与标准分割损失结合，提升模型的鲁棒性与准确性。
• 通过采用循环填充和高效网络设计，实现在 360° LiDAR 数据上的实时推理。
• 通过全面的消融实验，验证每个组件对 mIoU 和推理速度的独立贡献。

提出的方法

• 该模型采用多视角投影策略，将原始 LiDAR 点云转换为鸟瞰图（BEV）和球面距离视图（RV）表示，以实现互补的特征学习。
• 提出一种新型的钻石形上下文模块，用于在距离视图特征空间中捕捉长距离上下文依赖，增强语义表征能力。
• 网络采用带有跳跃连接的编码器-解码器 ResNet 架构，以在上采样过程中保留空间细节。
• 采用混合损失函数，结合总 Variation（TV）损失以平滑预测结果，Lovász-Softmax 损失以处理类别不平衡问题，以及加权交叉熵损失以实现鲁棒优化。
• 在距离视图特征图上应用循环填充，以保持 360° 水平视场范围内的连续性。
• 通过 K-最近邻（KNN）优化进行后处理，以进一步提升分割精度。

实验结果

研究问题

• RQ1 与单视角方法相比，多视角特征融合（BEV 与 RV）在 3D LiDAR 点云语义分割中的准确性提升效果如何？
• RQ2 所提出的钻石形上下文模块在增强特征表示与分割性能方面的作用有多大？
• RQ3 将总 Variation 损失整合是否能显著降低预测噪声并提升 LiDAR 语义分割中的 mIoU？
• RQ4 循环填充在具有周期性空间结构的 360° LiDAR 数据上对模型泛化能力有何影响？
• RQ5 各架构与训练组件（如 PPL、高分辨率设置、KNN 后处理）对最终 mIoU 的独立贡献是什么？

主要发现

• TORNADO-Net 在 SemanticKITTI 测试集上实现了 64.2% 的平均交并比（mIoU），创下新的最先进性能记录。
• 仅添加总 Variation（TV）损失，与基线相比，mIoU 提升约 2.9 个百分点。
• KNN 后处理步骤使 mIoU 提升 2–3 个百分点，其中在 K=11 时提升最大。
• 高分辨率变体（TORNADONet-HiRes）达到 65.9% mIoU，表明提升空间分辨率可带来性能增益，但以牺牲推理速度为代价。
• 循环填充使 mIoU 提升 0.5%，证实其在保持 360° 连续性方面的有效性。
• 消融实验表明，钻石形上下文模块和 PPL（基于支柱的学习）模块均贡献显著，前者带来 1.5% 的 mIoU 提升。