[论文解读] SynLiDAR: Learning From Synthetic LiDAR Sequential Point Cloud for Semantic Segmentation.

Aoran Xiao, Jiaxing Huang+3 more|arXiv (Cornell University)|Jul 12, 2021

3D Shape Modeling and Analysis参考文献 39被引用 8

一句话总结

本文提出了SynLiDAR，一个大规模的合成LiDAR点云数据集，带有密集的语义注释，以及PCT-Net，一种通过解耦外观和稀疏性成分来减少仿真到真实世界差距的域自适应网络。实验表明，SynLiDAR使得在较少真实世界标注的情况下也能训练出性能更优的语义分割模型，而PCT-Net通过将合成数据对齐到真实数据分布，进一步提升了性能。

ABSTRACT

Transfer learning from synthetic to real data has been proved an effective way of mitigating data annotation constraints in various computer vision tasks. However, the developments focused on 2D images but lag far behind for 3D point clouds due to the lack of large-scale high-quality synthetic point cloud data and effective transfer methods. We address this issue by collecting SynLiDAR, a synthetic LiDAR point cloud dataset that contains large-scale point-wise annotated point cloud with accurate geometric shapes and comprehensive semantic classes, and designing PCT-Net, a point cloud translation network that aims to narrow down the gap with real-world point cloud data. For SynLiDAR, we leverage graphic tools and professionals who construct multiple realistic virtual environments with rich scene types and layouts where annotated LiDAR points can be generated automatically. On top of that, PCT-Net disentangles synthetic-to-real gaps into an appearance component and a sparsity component and translates SynLiDAR by aligning the two components with real-world data separately. Extensive experiments over multiple data augmentation and semi-supervised semantic segmentation tasks show very positive outcomes - including SynLiDAR can either train better models or reduce real-world annotated data without sacrificing performance, and PCT-Net translated data further improve model performance consistently.

研究动机与目标

• 为解决3D语义分割中缺乏大规模、高质量、逐点标注的合成LiDAR点云的问题。
• 减少合成与真实世界LiDAR点云之间的域差距，该差距阻碍了3D视觉中的迁移学习。
• 开发一种方法，实现从合成数据到真实LiDAR数据的有效迁移学习，用于语义分割。
• 证明合成数据结合域自适应可以减少对昂贵真实世界标注的依赖。

提出的方法

• 使用专业图形工具构建SynLiDAR，生成多样化、逼真的虚拟环境，具备精确的几何形状和全面的语义类别。
• 在这些虚拟环境中自动生成逐点语义注释，以确保高质量、大规模的合成数据。
• PCT-Net被设计用于将合成到真实世界的域差距分解为外观和稀疏性成分，分别与真实数据对齐。
• 该网络通过分别对齐合成与真实点云之间的外观和稀疏性分布，实现域自适应。
• PCT-Net采用双分支架构，学习解耦表示，并将合成数据转换为更符合真实世界数据特征的形式。
• 在数据增强和半监督学习设置下评估该方法，以验证其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 一个大规模、高质量的、带有密集语义注释的合成LiDAR点云数据集是否能提升3D语义分割性能？
• RQ2 域自适应方法在3D点云学习中多大程度上能缩小仿真到真实世界的差距？
• RQ3 从合成数据迁移到真实数据是否能减少对昂贵真实世界标注的依赖，且不造成性能下降？
• RQ4 将域偏移解耦为外观和稀疏性成分，是否能带来3D点云中更好的域自适应效果？

主要发现

• 与仅使用真实世界数据的基线相比，SynLiDAR即使在真实标注有限的情况下，也能训练出性能更优的语义分割模型。
• 在SynLiDAR上训练的模型在减少对真实世界标注依赖的同时，达到了与最先进方法相当的性能。
• PCT-Net对合成数据进行转换后，进一步提升了多个基准和设置下的模型性能。
• 解耦的域自适应方法有效缩小了仿真到真实世界的差距，尤其是在外观和稀疏性特征方面。
• 在半监督学习中，使用PCT-Net转换数据微调的模型在性能上持续优于基线方法。
• SynLiDAR与PCT-Net的结合在不牺牲分割精度的前提下，显著减少了对真实世界标注数据的需求。