[论文解读] Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems

Qimei Chen, Zehua You+1 more|arXiv (Cornell University)|Oct 18, 2021

Brain Tumor Detection and Classification被引用 8

一句话总结

该论文提出了一种用于协同智能交通系统（C-ITS）的半异步分层联邦学习（SHFL）框架，通过结合同步边缘聚合与半异步云聚合，实现了高效且保护隐私的模型训练。通过采用分布式ADMM-BCU算法联合优化边缘节点关联与资源分配，该框架在非独立同分布（non-iid）数据和异构设备约束条件下，实现了30%的训练延迟降低，并达到接近最优的模型准确率，相较于全选方案表现更优。

ABSTRACT

Cooperative Intelligent Transport System (C-ITS) is a promising network to provide safety, efficiency, sustainability, and comfortable services for automated vehicles and road infrastructures by taking advantages from participants. However, the components of C-ITS usually generate large amounts of data, which makes it difficult to explore data science. Currently, federated learning has been proposed as an appealing approach to allow users to cooperatively reap the benefits from trained participants. Therefore, in this paper, we propose a novel Semi-asynchronous Hierarchical Federated Learning (SHFL) framework for C-ITS that enables elastic edge to cloud model aggregation from data sensing. We further formulate a joint edge node association and resource allocation problem under the proposed SHFL framework to prevent personalities of heterogeneous road vehicles and achieve communication-efficiency. To deal with our proposed Mixed integer nonlinear programming (MINLP) problem, we introduce a distributed Alternating Direction Method of Multipliers (ADMM)-Block Coordinate Update (BCU) algorithm. With this algorithm, a tradeoff between training accuracy and transmission latency has been derived. Numerical results demonstrate the advantages of the proposed algorithm in terms of training overhead and model performance.

研究动机与目标

• 解决C-ITS数据智能分析中高传输延迟、数据异构性以及无线资源受限的挑战。
• 克服纯同步或异步联邦学习在时敏性、异构车载网络中的低效问题。
• 设计一种通信高效、保护隐私的训练框架，支持C-ITS中的实时安全与效率服务。
• 联合优化边缘节点关联与资源分配，以平衡模型准确率与传输延迟。
• 开发一种分布式算法，以求解由联合优化产生的复杂混合整数非线性规划（MINLP）问题。

提出的方法

• 提出一种包含本地设备、边缘服务器与云服务器的三层SHFL架构，其中边缘节点采用同步聚合，云服务器采用半异步聚合。
• 引入弹性边缘更新模型，以保留异构边缘节点的独特特性（个性），缓解非独立同分布（non-iid）数据导致的性能下降。
• 将联合边缘关联与资源分配建模为混合整数非线性规划（MINLP）问题，以优化训练准确率与传输延迟。
• 设计一种分布式ADMM-块坐标更新（ADMM-BCU）算法，以可扩展、去中心化的方式求解MINLP问题。
• 采用带参数ρ的加权目标函数，以平衡数据重要性与传输延迟，实现可调的权衡。
• 以VGG-16作为基础模型，并在不同选择方案（随机、全选、所提方案）下评估收敛性与性能。

实验结果

研究问题

• RQ1 在具有异构性与非独立同分布数据的C-ITS中，半异步聚合如何提升训练效率？
• RQ2 在C-ITS的分层联邦学习架构中，模型准确率与传输延迟之间的最优权衡是什么？
• RQ3 联合边缘节点关联与资源分配如何影响系统级训练性能？
• RQ4 分布式ADMM-BCU算法能否有效求解实时车载环境中复杂的MINLP问题？
• RQ5 弹性边缘更新模型在多大程度上保留了边缘节点的个性，并提升了收敛性？

主要发现

• 所提出的SHFL框架在约70轮通信内实现收敛，性能与全选方案相当，但所选边缘节点更少。
• 与基线方案相比，所提算法将训练延迟降低了30%，且在所有评估机制中延迟最低。
• 与标准更新模型相比，弹性边缘更新模型显著提升了训练准确率，并减少了损失波动，尤其在非独立同分布数据条件下表现更优。
• ADMM-BCU算法收敛迅速，计算复杂度低，适用于动态C-ITS环境中的实时部署。
• 实验验证了数据重要性与传输延迟之间的权衡关系，ρ = 0.8时在准确率与延迟方面均达到最优性能。
• 所选边缘节点数量随权重因子ρ增加而上升，且所提方案在数据重要性方面优于随机选择，同时最小化了延迟。