[论文解读] Semantic Segmentation of 3D LiDAR Data in Dynamic Scene Using Semi-supervised Learning

Jilin Mei, Biao Gao+4 more|arXiv (Cornell University)|Sep 3, 2018

Human Pose and Action Recognition被引用 3

一句话总结

该论文提出了一种用于动态场景下3D LiDAR语义分割的半监督学习框架，利用帧间数据关联生成低成本的成对约束，并设计了一种结合标注与约束的新损失函数。该方法仅使用少量人工标注和大量约束数据，即实现了超过10%的分割精度提升，显著增强了模型对新场景的适应能力。

ABSTRACT

This work studies the semantic segmentation of 3D LiDAR data in dynamic scenes for autonomous driving applications. A system of semantic segmentation using 3D LiDAR data, including range image segmentation, sample generation, inter-frame data association, track-level annotation and semi-supervised learning, is developed. To reduce the considerable requirement of fine annotations, a CNN-based classifier is trained by considering both supervised samples with manually labeled object classes and pairwise constraints, where a data sample is composed of a segment as the foreground and neighborhood points as the background. A special loss function is designed to account for both annotations and constraints, where the constraint data are encouraged to be assigned to the same semantic class. A dataset containing 1838 frames of LiDAR data, 39934 pairwise constraints and 57927 human annotations is developed. The performance of the method is examined extensively. Qualitative and quantitative experiments show that the combination of a few annotations and large amount of constraint data significantly enhances the effectiveness and scene adaptability, resulting in greater than 10% improvement

研究动机与目标

• 解决自动驾驶中3D LiDAR语义分割像素级标注的高昂成本问题。
• 在极少微调的情况下，提升模型对新场景的泛化能力和适应能力。
• 利用移动物体的帧间数据关联生成低成本、大量成对约束。
• 设计一种联合损失函数，同时整合稀疏的人工标注与密集的成对约束。
• 构建一个包含1838帧、39,934个约束和57,927个人工标注的新数据集，以评估该方法。

提出的方法

• 将样本构建为前景区域（例如移动物体）与周围背景点的配对。
• 使用基于CNN的分类器，同时在人工标注数据和指示同类/异类关系的成对约束上进行训练。
• 设计一种自定义损失函数，最小化约束对之间的分类不一致，同时尊重真实标签。
• 应用自运动补偿对连续LiDAR帧进行对齐，以实现帧间数据关联。
• 使用跟踪算法在帧间关联同一物体，生成正向成对约束。
• 在初始半监督训练后，使用少量人工确认的锚点样本对模型进行微调。

实验结果

研究问题

• RQ1 能否通过连续LiDAR帧中跟踪物体生成的成对约束，在无需额外人工标注的情况下有效提升语义分割性能？
• RQ2 将少量人工标注与大量自动生成的约束相结合，对模型性能和泛化能力有何影响？
• RQ3 在单一场景上训练的半监督模型，在仅需极少微调的情况下，能在多大程度上适应新、未见过的场景？
• RQ4 仅使用约束进行无监督学习是否会失败？如果会，原因是什么？
• RQ5 使用少量人工确认样本进行微调，能否显著提升模型在新环境中的精度与适应能力？

主要发现

• 与在相同数据上训练的监督基线相比，添加100个成对约束使平均F值提升了9%。
• 结合约束的半监督方法相比完全监督基线，平均F值提升超过10%。
• 仅使用约束进行无监督训练失败，因为损失函数仅惩罚约束对的误分类，而未考虑整体类别分布。
• 使用每类20个、未知类100个人工确认样本进行微调，相比仅使用约束的模型，平均F值提升了13%。
• 微调后的模型在大多数类别上优于监督基线，尤其在cycling和trunk等具有挑战性的类别上表现更优，尽管在训练数据上的表现略低。
• 定性结果表明，微调后的模型成功分类了在新场景中此前被误分类的物体，如骑行者和汽车。