[论文解读] Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models

Nick Lamm, Shashank Jaiprakash+2 more|arXiv (Cornell University)|Jul 13, 2020

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

该论文表明，在真实世界基准测试中，使用半监督模型进行迁移学习可显著提升车辆轨迹预测性能，优于监督学习模型。通过利用大规模未标注数据——将预训练规模从数百万张图像扩展至数十亿张图像——该研究显示对比学习（SimCLR）优于教师-学生方法，并在低层次（摄像头输入）和中层次（地图标注）表征中均实现性能提升，多模态指标最高提升达40.1%。

ABSTRACT

In this work we show that semi-supervised models for vehicle trajectory prediction significantly improve performance over supervised models on state-of-the-art real-world benchmarks. Moving from supervised to semi-supervised models allows scaling-up by using unlabeled data, increasing the number of images in pre-training from Millions to a Billion. We perform ablation studies comparing transfer learning of semi-supervised and supervised models while keeping all other factors equal. Within semi-supervised models we compare contrastive learning with teacher-student methods as well as networks predicting a small number of trajectories with networks predicting probabilities over a large trajectory set. Our results using both low-level and mid-level representations of the driving environment demonstrate the applicability of semi-supervised methods for real-world vehicle trajectory prediction.

研究动机与目标

• 评估在相同条件下，与监督预训练相比，半监督预训练是否能提升轨迹预测性能。
• 探究不同半监督学习技术（对比学习与教师-学生蒸馏）在驾驶场景表征学习中的有效性。
• 比较在预测少量轨迹与固定大组候选轨迹时，使用半监督模型带来的性能增益差异。
• 验证半监督表征在低层次（摄像头图像）和中层次（标注地图图像）驾驶环境表征中的泛化能力。

提出的方法

• 在固定架构和计算资源下，对预训练的半监督和监督模型（如SimCLR、ResNeXt-101 SSL、SWSL）进行微调，以完成车辆轨迹预测任务。
• 使用对比学习（SimCLR）在包含数十亿张未标注图像的数据集上预训练模型，实现自监督特征学习。
• 通过教师-学生框架（如ResNeXt-101 32x4d SSL、SWSL）应用知识蒸馏，从大规模未标注数据中的噪声学生信号中学习。
• 在两个基准数据集上评估模型：Drive360（低层次，基于摄像头）和nuScenes（中层次，地图标注），使用单模态和多模态轨迹预测指标。
• 对训练数据和输入分辨率进行下采样（如1920x1080 → 160x90），以减少训练时间，同时在完整测试集上保持性能评估。
• 在微调过程中冻结网络最低层的3/4模块，以保留预训练特征，同时调整最后一层以适应下游预测任务。

实验结果

研究问题

• RQ1 当所有其他因素（架构、数据、计算）保持不变时，与监督模型相比，使用半监督模型进行迁移学习是否能提升轨迹预测性能？
• RQ2 在车辆轨迹预测任务中，不同半监督学习技术（对比学习（SimCLR）与教师-学生蒸馏（SWSL、SSL））的性能表现如何比较？
• RQ3 半监督预训练的优势是否因模型预测少量轨迹还是大量固定候选轨迹而异？
• RQ4 半监督表征是否能有效泛化到驾驶环境的低层次（摄像头输入）和中层次（地图标注）表征？

主要发现

• 半监督模型在低层次和中层次表征上均优于监督模型，其中SimCLR在所有基准测试中表现最佳。
• 对比学习（SimCLR）显著优于教师-学生方法（ResNeXt-101 32x4d SSL和SWSL），前者在Drive360上使转向角MSE降低0.99，速度MSE降低0.87，优于监督的ResNet-50。
• 在使用CoverNet的多模态轨迹预测中，半监督模型相比监督基线性能最高提升40.1%，表明其在处理轨迹不确定性方面具有显著优势。
• 在MTP的小轨迹集预测中，半监督模型使单模态指标最高提升17.3%，但在多模态指标上未见显著增益，表明其优势具有任务依赖性。
• ResNeXt-101 32x4d SWSL模型在Drive360上表现不如监督的ResNet-101基线，表明并非所有半监督方法在各类任务中均能同等泛化。
• 半监督预训练带来的性能增益无需额外推理或训练计算资源，可作为即插即用的改进方案，直接集成到现有轨迹预测流程中。