[论文解读] User Selection Approaches to Mitigate the Straggler Effect for Federated Learning on Cell-Free Massive MIMO Networks.

Tung T. Vu, Duy T. Ngo+4 more|arXiv (Cornell University)|Sep 4, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 12

一句话总结

本文提出用户设备（UE）选择策略，通过在上行链路和下行链路阶段均缓解阻塞效应，以减少在无蜂窝大规模MIMO网络中的联邦学习（FL）训练时间。通过采用随机非凸优化框架，联合优化UE选择、发射功率和数据速率，所提出的在线连续凸逼近算法显著减少了训练时间，尤其在低接入点密度场景下表现更优。

ABSTRACT

This work proposes UE selection approaches to mitigate the straggler effect for federated learning (FL) on cell-free massive multiple-input multiple-output networks. To show how these approaches work, we consider a general FL framework with UE sampling, and aim to minimize the FL training time in this framework. Here, training updates are (S1) broadcast to all the selected UEs from a central server, (S2) computed at the UEs sampled from the selected UE set, and (S3) sent back to the central server. The first approach mitigates the straggler effect in both Steps (S1) and (S3), while the second approach only Step (S3). Two optimization problems are then formulated to jointly optimize UE selection, transmit power and data rate. These mixed-integer mixed-timescale stochastic nonconvex problems capture the complex interactions among the training time, the straggler effect, and UE selection. By employing the online successive convex approximation approach, we develop a novel algorithm to solve the formulated problems with proven convergence to the neighbourhood of their stationary points. Numerical results confirm that our UE selection designs significantly reduce the training time over baseline approaches, especially in the networks that experience serious straggler effects due to the moderately low density of access points.

研究动机与目标

• 解决无蜂窝大规模MIMO网络中联邦学习的阻塞效应问题，即慢速或不可靠的UE会延迟训练收敛。
• 通过在多个 timescales 上优化UE选择、发射功率和数据速率，最小化总FL训练时间。
• 建立两个混合整数混合timescale随机非凸优化问题，以建模训练效率、阻塞效应缓解与资源分配之间的权衡。
• 设计一种可扩展且收敛的算法，用于在现实网络约束下求解复杂优化问题。
• 评估所提出的UE选择策略相较于基线方法的性能增益，尤其在低接入点密度条件下。

提出的方法

• 构建一个通用的FL框架，其中中心服务器将模型更新广播给选定的UE（S1），选定的UE计算本地更新（S2），并将结果发送回（S3）。
• 提出两种UE选择方法：一种在S1和S3阶段均缓解阻塞问题，另一种仅针对S3阶段，从而在复杂度与性能之间实现灵活权衡。
• 将优化问题建模为混合整数混合timescale随机非凸规划，以捕捉UE选择、功率分配与数据速率自适应之间的动态相互作用。
• 应用在线连续凸逼近（OSCA）方法迭代求解非凸问题，并保证收敛至驻点的邻域。
• 结合实时信道状态信息与UE可靠性统计知识，指导UE选择与功率控制决策。
• 采用随机逼近技术，处理训练过程中UE采样与信道变化带来的固有随机性。

实验结果

研究问题

• RQ1 如何设计UE选择策略，以有效缓解无蜂窝大规模MIMO网络中联邦学习上行链路和下行链路阶段的阻塞效应？
• RQ2 联合优化UE选择、发射功率与数据速率对减少总FL训练时间有何影响？
• RQ3 在接入点密度较低的网络中，所提出的算法性能如何，此时阻塞效应最为显著？
• RQ4 与基线UE选择方案相比，所提方法在训练时间减少方面有多大优势？
• RQ5 当应用于所构建的非凸优化问题时，在线连续凸逼近算法表现出何种收敛特性？

主要发现

• 与基线方法相比，所提出的UE选择方法显著减少了FL训练时间，尤其在中等偏低接入点密度的网络中表现更优。
• 在上行链路和下行链路阶段均缓解阻塞问题的方法，相比仅针对上行链路的方法，实现了更大的训练时间减少。
• 数值结果证实，在线连续凸逼近算法收敛至驻点的邻域，确保了稳定可靠的优化性能。
• 联合优化UE选择、发射功率与数据速率可更高效地利用网络资源，并提升训练吞吐量。
• 在UE计算能力和信道条件变化较大的场景下，性能增益最为显著，表明该方法对真实网络动态具有强鲁棒性。
• 所提方法在保持低计算开销的同时实现了显著的训练时间节省，适用于大规模无蜂窝大规模MIMO系统中的实际部署。