[论文解读] To Talk or to Work: Energy Efficient Federated Learning over Mobile Devices via the Weight Quantization and 5G Transmission Co-Design.

Rui Chen, Liang Li+4 more|arXiv (Cornell University)|Dec 21, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 4

一句话总结

本文通过协同设计5G无线传输与权重量化，实现了在异构移动设备上的节能联邦学习（FL）。通过整合多接入边缘计算（MEC）并建立混合整数规划问题，联合优化量化级别与带宽分配，以最小化总能耗（计算 + 传输），同时保持模型精度与延迟。

ABSTRACT

Federated learning (FL) is a new paradigm for large-scale learning tasks across mobile devices. However, practical FL deployment over resource constrained mobile devices confronts multiple challenges. For example, it is not clear how to establish an effective wireless network architecture to support FL over mobile devices. Besides, as modern machine learning models are more and more complex, the local on-device training/intermediate model update in FL is becoming too power hungry/radio resource intensive for mobile devices to afford. To address those challenges, in this paper, we try to bridge another recent surging technology, 5G, with FL, and develop a wireless transmission and weight quantization co-design for energy efficient FL over heterogeneous 5G mobile devices. Briefly, the 5G featured high data rate helps to relieve the severe communication concern, and the multi-access edge computing (MEC) in 5G provides a perfect network architecture to support FL. Under MEC architecture, we develop flexible weight quantization schemes to facilitate the on-device local training over heterogeneous 5G mobile devices. Observed the fact that the energy consumption of local computing is comparable to that of the model updates via 5G transmissions, we formulate the energy efficient FL problem into a mixed-integer programming problem to elaborately determine the quantization strategies and allocate the wireless bandwidth for heterogeneous 5G mobile devices. The goal is to minimize the overall FL energy consumption (computing + 5G transmissions) over 5G mobile devices while guaranteeing learning performance and training latency. Generalized Benders' Decomposition is applied to develop feasible solutions and extensive simulations are conducted to verify the effectiveness of the proposed scheme.

研究动机与目标

• 解决由于复杂模型训练与通信开销导致资源受限移动设备上联邦学习（FL）能耗过高的挑战。
• 克服现有无线网络架构在支持移动网络上可扩展且高效的联邦学习方面的局限性。
• 设计一种协同设计框架，整合5G的高速率与MEC能力，结合自适应权重量化，以降低联邦学习中的能耗。
• 在异构5G移动设备上最小化总能耗（本地计算 + 5G传输），同时确保学习性能与训练延迟约束。
• 为在真实5G移动环境中部署节能联邦学习提供可扩展且实用的解决方案。

提出的方法

• 利用5G的高速率与多接入边缘计算（MEC）能力，为移动设备上的联邦学习提供可扩展的网络架构。
• 引入灵活的权重量化方案，适配不同异构5G移动设备的计算与通信能力。
• 将能效问题建模为混合整数规划（MIP）形式，联合优化量化级别与无线带宽分配。
• 应用广义Benders分解方法，高效分解并求解复杂的MIP问题，实现可行且可扩展的解决方案。
• 引入模型精度与训练延迟约束，确保实际部署的可行性。
• 利用MEC架构卸载聚合计算，减轻设备端计算负载，提升能效。

实验结果

研究问题

• RQ1 如何协同设计5G无线网络与联邦学习，以降低移动联邦学习中的能耗？
• RQ2 在最小化总能耗的前提下，权重量化精度与无线带宽分配之间的最优权衡是什么？
• RQ3 在节能联邦学习框架中，如何高效支持计算能力各异的异构移动设备？
• RQ4 对量化与传输进行联合优化，对模型收敛性与训练延迟有何影响？
• RQ5 所提出的协同设计方法是否能在显著降低能耗的同时保持可接受的学习性能？

主要发现

• 所提出的协同设计框架通过联合优化量化与带宽分配，显著降低了总能耗。
• 发现本地计算能耗与5G传输能耗相当，验证了联合优化的必要性。
• 广义Benders分解方法有效求解混合整数规划问题，确保了可扩展性。
• 大量仿真结果表明，所提方案在保持高模型精度的同时，显著降低了异构设备上的能耗。
• 该框架有效平衡了训练延迟与能效，适用于真实5G移动环境部署。
• MEC与自适应量化相结合，相比传统方法，构建了更具可扩展性与能效优势的联邦学习架构。