[论文解读] Turn Signal Prediction: A Federated Learning Case Study

Sonal Doomra, Naman Kohli+1 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 12

一句话总结

本文提出一种联邦学习方法，利用CAN总线数据预测车辆转向灯使用情况，通过在去中心化的车辆上训练长短期记忆（LSTM）模型，以保护隐私并减少带宽消耗。联邦模型在整体准确率上达到91.1%，与集中式训练模型（90.4%）相当，证明了在车辆内部实现隐私保护学习以建模本地驾驶礼仪的可行性。

ABSTRACT

Driving etiquette takes a different flavor for each locality as drivers not only comply with rules/laws but also abide by local unspoken convention. When to have the turn signal (indicator) on/off is one such etiquette which does not have a definitive right or wrong answer. Learning this behavior from the abundance of data generated from various sensor modalities integrated in the vehicle is a suitable candidate for deep learning. But what makes it a prime candidate for Federated Learning are privacy concerns and bandwidth limitations for any data aggregation. This paper presents a long short-term memory (LSTM) based Turn Signal Prediction (on or off) model using vehicle control area network (CAN) signal data. The model is trained using two approaches, one by centrally aggregating the data and the other in a federated manner. Centrally trained models and federated models are compared under similar hyperparameter settings. This research demonstrates the efficacy of federated learning, paving the way for in-vehicle learning of driving etiquette.

研究动机与目标

• 开发一种机器学习模型，基于车辆CAN信号预测下一时刻的转向灯状态（开启/关闭）。
• 评估联邦学习作为集中式数据聚合的隐私保护替代方案，在车辆行为建模中的适用性。
• 在相同超参数设置下，对比联邦模型与集中式训练模型的性能表现。
• 评估联邦学习是否能在不暴露原始驾驶员数据的前提下，学习到多样化的本地驾驶习惯和礼仪模式。
• 实现实时、车辆内部的驾驶礼仪学习，同时缓解数据隐私和带宽挑战。

提出的方法

• 将转向灯预测建模为基于历史CAN信号的多变量时间序列分类任务。
• 采用基于LSTM的深度神经网络，以捕捉车辆信号（如方向盘转角、车速和GPS）中的时间依赖性。
• 通过TensorFlow Federated（TFF）实现联邦学习，在去中心化的车辆上训练模型，仅共享模型权重，不传输原始数据。
• 采用全局模型聚合策略，将客户端模型更新在服务器端平均，以形成全局模型。
• 在福特Big Data Drive（BDD）数据集的一个子集上训练和评估模型，重点关注具有“关闭-开启-关闭”转向灯序列的行程。
• 实施数据预处理，以应对类别不平衡问题，并对车辆速度、制动状态和方向等特征进行归一化处理。

实验结果

研究问题

• RQ1 联邦学习是否能在保护驾驶员数据隐私的前提下，实现与集中式训练相当的转向灯预测性能？
• RQ2 当使用相同的超参数和数据时，联邦模型的性能与集中式训练模型相比如何？
• RQ3 联邦学习是否能有效捕捉不同地区之间多样的本地驾驶行为和礼仪模式？
• RQ4 联邦模型在多大程度上能泛化到驾驶员忘记使用转向灯的情况，通过学习集体行为模式？
• RQ5 在真实车辆系统中部署联邦学习时，面临哪些实际挑战，包括通信延迟和设备调度问题？

主要发现

• 联邦模型在整体测试准确率上达到91.1%，略高于集中式训练模型（90.4%）。
• 联邦模型的F1得分（0.826）高于集中式模型（0.807），表明其在各类别预测上具有更好的平衡性。
• 即使驾驶员未使用转向灯，联邦模型仍能正确预测变道和转弯时的转向灯激活状态，表现出对人为失误的鲁棒性。
• 可视化分析表明，联邦模型在多种驾驶模式下均表现出良好的泛化能力，包括因驾驶员行为导致真实标签不一致的情况。
• 该模型在缺乏或错误信号的情况下仍能检测到驾驶员的意图操作，表明其学习的是集体行为模式，而非简单复制个体错误。
• 联邦学习实现了无需传输原始数据的隐私保护、可扩展的训练方式，适用于受带宽和安全限制的车载部署场景。