[论文解读] Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC

Xiang Ma, Haijian Sun+1 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Wireless Communication Technologies参考文献 15被引用 9

一句话总结

该论文提出了一种基于非正交多址（NOMA）的移动边缘计算（MEC）网络中联邦学习（FL）的联合调度与功率分配方案，旨在最大化加权和数据速率。通过将用户调度建模为最大权独立集问题并优化功率分配，该方案在收敛速度和测试精度方面优于传统的时 division multiple access（TDMA）和随机调度方法，最快可在10秒内达到70%的准确率，而TDMA方案则需22秒。

ABSTRACT

Federated learning (FL) is a highly pursued machine learning technique that can train a model centrally while keeping data distributed. Distributed computation makes FL attractive for bandwidth limited applications especially in wireless communications. There can be a large number of distributed edge devices connected to a central parameter server (PS) and iteratively download/upload data from/to the PS. Due to the limited bandwidth, only a subset of connected devices can be scheduled in each round. There are usually millions of parameters in the state-of-art machine learning models such as deep learning, resulting in a high computation complexity as well as a high communication burden on collecting/distributing data for training. To improve communication efficiency and make the training model converge faster, we propose a new scheduling policy and power allocation scheme using non-orthogonal multiple access (NOMA) settings to maximize the weighted sum data rate under practical constraints during the entire learning process. NOMA allows multiple users to transmit on the same channel simultaneously. The user scheduling problem is transformed into a maximum-weight independent set problem that can be solved using graph theory. Simulation results show that the proposed scheduling and power allocation scheme can help achieve a higher FL testing accuracy in NOMA based wireless networks than other existing schemes.

研究动机与目标

• 解决在带宽受限的无线网络中联邦学习（FL）存在的高通信开销与高延迟问题。
• 通过在MEC环境中利用NOMA实现上行链路同时传输，提升FL的收敛速度与模型准确率。
• 在实际约束条件下联合优化用户调度与功率分配，以最大化加权和数据速率。
• 在大规模FL部署且数据非独立同分布（non-i.i.i.d.）的情况下，缩短训练时间并提升系统频谱效率。

提出的方法

• 在服务质量与功率约束下，将用户调度与功率分配问题建模为最大加权和速率优化问题。
• 利用图论将用户调度问题转化为最大权独立集（MWIS）问题，以实现高效计算。
• 应用基于图的算法，每轮选择最优用户子集进行同时传输。
• 对每个用户优化功率分配，以在满足个体功率与信干噪比（SINR）约束的前提下最大化加权和速率。
• 采用改进的FedAvg算法，结合NOMA上行链路传输与模型压缩技术，以降低通信负载。
• 使用在非独立同分布（non-i.i.d.）MNIST数据上训练的全连接LeNet-300-100神经网络评估性能。

实验结果

研究问题

• RQ1 如何联合优化用户调度与功率分配，以在基于NOMA的FL中最大化系统和数据速率？
• RQ2 与传统TDMA相比，NOMA对通信延迟与收敛速度有何影响？
• RQ3 与随机或轮询调度相比，基于图论的用户调度（MWIS）在FL准确率与训练效率方面表现如何？
• RQ4 在实际功率与信道约束下，功率分配对FL性能的提升程度如何？

主要发现

• 所提出的联合调度与功率分配方案在10秒内达到70%的测试准确率，而基于TDMA的方案需22秒。
• 采用最优调度与功率控制的NOMA-based FL在收敛速度与最终准确率方面均优于所有基线方案，包括最大功率下的随机调度。
• 该方案通过支持同时上行链路传输，降低了通信延迟，使单位时间内可执行更多FL轮次。
• 最大权独立集建模实现了高效的用户选择，提升了系统频谱效率与模型收敛性能。
• 合理的用户调度与功率分配显著提升了模型准确率，最优方案在35轮通信后准确率超过60%。
• 由于支持并发上行链路传输，NOMA-based方法在减少传输时间方面达到K倍（所调度用户数）的增益，同时实现与TDMA相当或更优的准确率。