[论文解读] Scheduling for Cellular Federated Edge Learning with Importance and Channel Awareness

Jinke Ren, Yinghui He+4 more|arXiv (Cornell University)|Apr 1, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用 4

一句话总结

本文提出了一种用于蜂窝联邦边缘学习的新型概率调度策略，通过联合优化信道质量与本地模型更新的重要性（以梯度发散衡量），以加速收敛并提高学习精度。通过平衡信道中的多用户分集增益与更新重要性，该方法在收敛速度上优于仅利用单一类型分集增益的传统策略。

ABSTRACT

In cellular federated edge learning (FEEL), multiple edge devices holding local data jointly train a neural network by communicating learning updates with an access point without exchanging their data samples. With very limited communication resources, it is beneficial to schedule the most informative local learning updates. In this paper, a novel scheduling policy is proposed to exploit both diversity in multiuser channels and diversity in the "importance" of the edge devices' learning updates. First, a new probabilistic scheduling framework is developed to yield unbiased update aggregation in FEEL. The importance of a local learning update is measured by its gradient divergence. If one edge device is scheduled in each communication round, the scheduling policy is derived in closed form to achieve the optimal trade-off between channel quality and update importance. The probabilistic scheduling framework is then extended to allow scheduling multiple edge devices in each communication round. Numerical results obtained using popular models and learning datasets demonstrate that the proposed scheduling policy can achieve faster model convergence and higher learning accuracy than conventional scheduling policies that only exploit a single type of diversity.

研究动机与目标

• 通过根据信道状况和更新重要性智能调度边缘设备，解决蜂窝联邦边缘学习（FEEL）中的通信瓶颈问题。
• 克服传统调度策略对所有更新一视同仁的局限性，无论其对模型收敛的影响如何。
• 开发一种概率调度框架，确保全局模型聚合无偏，同时最大化学习效率。
• 通过联合利用无线信道中的多用户分集增益与更新重要性分集增益，实现更快的收敛速度和更高的精度。

提出的方法

• 设计了一种概率调度框架，以确保在FEEL中实现无偏模型聚合，支持基于信道状态和梯度发散的更新选择。
• 通过梯度发散量化本地更新的重要性，反映其对模型改进的贡献。
• 针对每轮仅调度单个设备的情况，推导出一种闭式最优策略，以平衡信道质量与更新重要性。
• 将框架扩展至支持每轮调度多个设备，实现多用户蜂窝环境中的可扩展部署。
• 基于强凸性和Lipschitz连续性假设，开展理论收敛性分析，推导出收敛速率上界。
• 采用递减学习率策略以确保渐近收敛，并通过递归期望不等式推导出性能边界。

实验结果

研究问题

• RQ1 如何通过联合考虑信道质量与本地更新重要性，改进蜂窝FEEL中的调度机制？
• RQ2 在单设备调度场景下，信道条件与更新重要性之间的最优权衡是什么？
• RQ3 所提出的概率调度框架如何在优先选择信息量丰富的更新的同时，保持全局模型聚合的无偏性？
• RQ4 与仅利用单一类型分集增益的策略相比，同时利用信道分集增益与更新重要性分集增益可实现多大的性能提升？
• RQ5 在实际FEEL设置中，使用真实数据集与模型时，所提出的调度策略能否实现更快的收敛速度与更高的精度？

主要发现

• 所提出的调度策略在收敛速度与学习精度方面均优于仅依赖信道质量或更新重要性的传统策略。
• 在单设备调度场景中，闭式策略实现了信道增益与梯度发散之间的最优平衡，从而最大化收敛速度。
• 在主流深度学习模型与数据集上的数值结果表明，该方法在不同非独立同分布（non-IID）数据分布下均表现出一致的性能增益。
• 多设备调度的扩展版本在多用户蜂窝FEEL环境中保持了高学习效率与良好的可扩展性。
• 理论分析表明，在递减学习率下，该方法的收敛速率被限制在O(1/T)范围内，其中T为通信轮数。
• 通过严格的数学推导验证，该方法在信道状态信息不完美时仍能实现无偏聚合与稳定收敛。