[论文解读] Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection

Athma Narayanan, Yi-Ting Chen+1 more|arXiv (Cornell University)|Jul 2, 2018

Video Surveillance and Tracking Methods参考文献 8被引用 5

一句话总结

该论文提出了一种半监督、多模态融合框架，结合自监督的3D场景结构、语义分割以及CAN传感器数据，以提升在低资源、长尾分布及高类内差异性的自然驾驶数据集中的战术性驾驶员行为检测性能。该方法在104小时的数据集上实现了36.15%的平均F1分数，相比先前基线模型提升16%，主要得益于辅助特征学习与鲁棒的多模态融合。

ABSTRACT

In this paper, we presented a preliminary study for tactical driver behavior detection from untrimmed naturalistic driving recordings. While supervised learning based detection is a common approach, it suffers when labeled data is scarce. Manual annotation is both time-consuming and expensive. To emphasize this problem, we experimented on a 104-hour real-world naturalistic driving dataset with a set of predefined driving behaviors annotated. There are three challenges in the dataset. First, predefined driving behaviors are sparse in a naturalistic driving setting. Second, the distribution of driving behaviors is long-tail. Third, a huge intra-class variation is observed. To address these issues, recent self-supervised and supervised learning and fusion of multimodal cues are leveraged into our architecture design. Preliminary experiments and discussions are reported.

研究动机与目标

• 解决真实自然驾驶数据中战术性驾驶员行为标注稀疏、长尾分布及高度类内差异性的问题。
• 通过在辅助任务上进行自监督和监督预训练，减少对昂贵人工标注的依赖。
• 通过图像特征（语义上下文、3D结构）与CAN传感器数据的多模态融合，提升检测性能。
• 利用改进的交叉熵损失和基于LSTM的序列建模，解决驾驶员行为识别中的类别不平衡与时间依赖性问题。
• 证明辅助预训练（如重建、从运动恢复结构）在低资源驾驶员行为检测中的有效性。

提出的方法

• 以ImageNet的InceptionResNet-V2特征作为基线，通过1×1卷积降低特征维度。
• 引入基于对抗自编码器的自监督图像重建，以在无直接监督下学习场景构成。
• 采用无监督的运动恢复结构方法，从视频序列中提取3D场景结构特征。
• 通过DeepLab结合特征金字塔网络增强语义上下文，实现高分辨率特征增强。
• 通过拼接与批量归一化，融合语义、3D结构与CAN传感器特征，提升表征学习效果。
• 采用截断的时间反向传播与LSTM结合，建模时间依赖性，并使用类别不平衡感知的交叉熵损失。

实验结果

研究问题

• RQ1 在标签稀疏的数据设置下，基于图像重建的自监督预训练是否能提升驾驶员行为检测性能？
• RQ2 通过无监督运动恢复结构方法引入3D场景结构特征，在多大程度上提升了战术行为识别性能？
• RQ3 语义上下文、3D结构与CAN数据的多模态融合，相比单模态或基线方法，如何提升检测性能？
• RQ4 为何语义上下文与CAN数据的融合未能为车道变更等情境依赖行为带来预期的性能增益？
• RQ5 来自自监督与监督预训练的辅助特征，是否能缓解长尾分布与高变异性驾驶员行为中的性能下降问题？

主要发现

• 所提方法在104小时的自然驾驶数据集上实现了36.15%的平均F1分数，相比基线提升5.5个百分点。
• 语义上下文与3D结构特征的融合显著提升了复杂行为的检测性能，如路口通过（F1为79.69%）与变道（F1为16.42%）。
• 相比基于重建的特征基线，模型性能提升16%，证明了辅助预训练的价值。
• 尽管预期如此，语义上下文与CAN数据的融合并未显著提升车道变更行为的性能，表明融合设计或特征表示可能存在不足。
• 该方法在罕见行为（如U型转弯，F1为26.40%；铁路道口，F1为5.40%）上表现出一致的性能增益，表明对长尾分布具有鲁棒性。
• 该方法通过利用自监督与监督的辅助任务线索，有效降低了对人工标注的依赖。