[论文解读] Personalized Federated Learning of Driver Prediction Models for Autonomous Driving

Manabu Nakanoya, Junha Im+4 more|arXiv (Cornell University)|Dec 1, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出自适应个性化联邦学习（APFL），一种新颖的框架，通过联合学习异构驾驶员行为下的全局动态和个性化损失函数，提升自动驾驶车辆的轨迹预测性能。在使用CARLA和CARLO模拟器的真实用户研究中，APFL将预测损失降低2倍，显著提高了变道场景下的安全性和效率，同时保护了数据隐私。

ABSTRACT

Autonomous vehicles (AVs) must interact with a diverse set of human drivers in heterogeneous geographic areas. Ideally, fleets of AVs should share trajectory data to continually re-train and improve trajectory forecasting models from collective experience using cloud-based distributed learning. At the same time, these robots should ideally avoid uploading raw driver interaction data in order to protect proprietary policies (when sharing insights with other companies) or protect driver privacy from insurance companies. Federated learning (FL) is a popular mechanism to learn models in cloud servers from diverse users without divulging private local data. However, FL is often not robust -- it learns sub-optimal models when user data comes from highly heterogeneous distributions, which is a key hallmark of human-robot interactions. In this paper, we present a novel variant of personalized FL to specialize robust robot learning models to diverse user distributions. Our algorithm outperforms standard FL benchmarks by up to 2x in real user studies that we conducted where human-operated vehicles must gracefully merge lanes with simulated AVs in the standard CARLA and CARLO AV simulators.

研究动机与目标

• 为解决在高度异构的人类驾驶行为背景下，训练鲁棒的自动驾驶车辆轨迹预测模型的挑战。
• 克服标准联邦学习在真实机器人车队中常见的数据异构性下难以有效收敛的局限性。
• 开发一种个性化联邦学习框架，结合全局知识（共享动态）与本地个性化（个体损失函数），以提升模型性能。
• 使用CARLA等照片级真实感模拟器和CARLO等轻量级模拟器，在真实人机交互场景中评估个性化FL的有效性。
• 证明个性化FL可显著提升复杂驾驶操作（如变道）中的安全性和效率，同时保护驾驶员隐私。

提出的方法

• 提出自适应个性化联邦学习（APFL），将全局模型参数（如共享动态）与个性化本地参数（如风险容忍度损失函数）解耦。
• 采用两阶段训练流程：首先在聚合的客户端更新上训练全局模型；其次，每个客户端通过个性化头部层和自适应加权机制，对全局模型进行微调，以平衡全局与本地参数的影响。
• 引入一种动态参数加权机制，根据本地数据分布和收敛行为，自适应调整全局模型与个性化模型的影响权重。
• 采用基于LSTM的编码器-解码器架构进行轨迹预测，结合联邦优化在隐私约束下端到端训练。
• 在CARLA中应用合成的人机驾驶控制器，生成具有不同风险容忍度（γ ∈ {−1.0, −0.5, 0, 0.5, 1.0}）的多样化驾驶风格，实现真实感数据采集以支持训练。
• 在CARLA中使用PID控制器，基于相对位置和速度计算出的目标速度决策生成控制输入，实现在模拟中的逼真车辆行为。

实验结果

研究问题

• RQ1 当面对高度异构的人类驾驶行为时，个性化联邦学习能否有效提升自动驾驶车辆的轨迹预测性能？
• RQ2 在涉及复杂操作（如变道）的真实人机交互场景中，标准联邦学习与个性化变体的性能表现如何比较？
• RQ3 结合全局动态与本地损失函数个性化的混合学习方法，在多样化驾驶人群中的模型鲁棒性与泛化能力可提升到何种程度？
• RQ4 与基线联邦学习方法相比，所提出的APFL算法是否在变道任务中保持安全性和效率的同时，显著降低预测误差？
• RQ5 在不暴露原始轨迹数据的前提下，所提出方法是否能在使用高保真模拟器（如CARLA）的真实用户研究中实现显著的性能提升？

主要发现

• APFL在测试中达到0.01160的预测损失，相比标准联邦学习（0.01760）提升2倍，相比最佳基线SPFL（0.01600）提升28%。
• 在CARLA变道场景中，APFL表现出显著更低的平均代价（p值 = 0.021346 vs. SPFL），同时保持了安全的车距。
• 真实人类驾驶员参与的用户研究证实，APFL赋能的自动驾驶车辆在变道操作中比使用标准FL训练的模型表现更安全、更高效。
• 结果表明，标准FL在数据异构性下难以有效收敛，而采用自适应参数加权的个性化FL可显著提升性能。
• APFL有效结合了全局经验（共享动态）与本地个性化（个体风险容忍度），在多样化驾驶风格中实现更优的泛化能力。
• 本研究首次在机器人领域，特别是自动驾驶车辆轨迹预测中，实现了个性化联邦学习的真实世界用户评估。