[论文解读] Update Aware Device Scheduling for Federated Learning at the Wireless Edge

Mohammad Mohammadi Amiri, Denız Gündüz+2 more|arXiv (Cornell University)|Jan 28, 2020

Privacy-Preserving Technologies in Data被引用 13

一句话总结

本文提出了一种用于无线联邦学习的更新感知设备调度框架，该框架基于信道状况和本地模型更新的重要性，联合优化设备选择与资源分配。通过优先选择信道质量更好且更新影响更大的设备，该方法可加速收敛并提升性能，尤其在非独立同分布（non-i.i.d.）数据分布下，每轮调度多个设备时效果更显著。

ABSTRACT

We study federated learning (FL) at the wireless edge, where power-limited devices with local datasets collaboratively train a joint model with the help of a remote parameter server (PS). We assume that the devices are connected to the PS through a bandwidth-limited shared wireless channel. At each iteration of FL, a subset of the devices are scheduled to transmit their local model updates to the PS over orthogonal channel resources, while each participating device must compress its model update to accommodate to its link capacity. We design novel scheduling and resource allocation policies that decide on the subset of the devices to transmit at each round, and how the resources should be allocated among the participating devices, not only based on their channel conditions, but also on the significance of their local model updates. We then establish convergence of a wireless FL algorithm with device scheduling, where devices have limited capacity to convey their messages. The results of numerical experiments show that the proposed scheduling policy, based on both the channel conditions and the significance of the local model updates, provides a better long-term performance than scheduling policies based only on either of the two metrics individually. Furthermore, we observe that when the data is independent and identically distributed (i.i.d.) across devices, selecting a single device at each round provides the best performance, while when the data distribution is non-i.i.d., scheduling multiple devices at each round improves the performance. This observation is verified by the convergence result, which shows that the number of scheduled devices should increase for a less diverse and more biased data distribution.

研究动机与目标

• 为解决无线边缘联邦学习中无线带宽受限与设备能量约束的挑战。
• 通过综合考虑信道质量与更新重要性，智能选择设备进行传输，以提升模型收敛速度与训练效率。
• 设计一种能动态适应数据分布特征的调度策略，尤其区分独立同分布（i.i.d.）与非独立同分布（non-i.i.d.）数据场景。
• 在资源受限条件下，为所提出的无线联邦学习算法建立理论收敛保证。

提出的方法

• 所提方法基于信道增益与本地模型更新幅度的综合度量，每轮FL调度部分设备。
• 优化资源分配，确保每个选定设备能在其可用频谱与功率约束下完成模型更新的压缩与传输。
• 提出一种新型调度策略，优先选择信道质量强且更新重要性高的设备，平衡传输可靠性与信息增益。
• 在设备侧引入压缩机制，以满足上行链路容量限制，确保在共享无线信道上的可行传输。
• 在设备传输能力有限且采用随机梯度下降的假设下，为所提算法建立了理论收敛性。
• 该框架根据数据分布多样性动态调整每轮调度设备数量，数据偏差越大或非独立同分布程度越高，调度设备数相应增加。

实验结果

研究问题

• RQ1 同时考虑信道状况与模型更新重要性，对无线联邦学习的收敛性与性能有何影响？
• RQ2 在不同数据分布特性（如i.i.d.与non-i.i.d.）下，每轮最优调度设备数量是多少？
• RQ3 所提出的调度策略与仅基于信道质量或更新幅度的策略相比表现如何？
• RQ4 在设备传输资源受限条件下，所提无线联邦学习算法的理论收敛行为如何？
• RQ5 数据分布多样性如何影响无线联邦学习中有效设备调度策略的设计？

主要发现

• 所提调度策略联合考虑信道质量与更新重要性，在长期模型性能上优于仅依赖单一指标的策略。
• 当数据在设备间为i.i.d.分布时，每轮仅调度单个设备可获得最佳性能，因为更新更均匀且冗余度低。
• 对于non-i.i.d.数据分布，每轮调度多个设备可显著提升收敛速度与模型准确率，得益于更高的数据多样性。
• 理论分析表明，随着数据分布偏差增大或多样性降低，应增加调度设备数量。
• 数值结果验证了所提方法在真实non-i.i.d.场景下具有更快的收敛速度与更好的泛化能力，尤其在边缘学习中常见的情形下表现突出。