[论文解读] Towards Energy Efficient Federated Learning over 5G+ Mobile Devices

Dian Shi, Liang Li+4 more|arXiv (Cornell University)|Jan 13, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出了一种面向5G+移动设备的节能联邦学习框架，通过联合优化本地计算与无线通信能耗，实现能效提升。该框架整合了梯度稀疏化、量化和动态批量大小等技术，在保持模型准确率的同时显著降低总能耗，仿真结果表明其具有显著的节能效果。

ABSTRACT

The continuous convergence of machine learning algorithms, 5G and beyond (5G+) wireless communications, and artificial intelligence (AI) hardware implementation hastens the birth of federated learning (FL) over 5G+ mobile devices, which pushes AI functions to mobile devices and initiates a new era of on-device AI applications. Despite the remarkable progress made in FL, huge energy consumption is one of the most significant obstacles restricting the development of FL over battery-constrained 5G+ mobile devices. To address this issue, in this paper, we investigate how to develop energy efficient FL over 5G+ mobile devices by making a trade-off between energy consumption for "working" (i.e., local computing) and that for "talking" (i.e., wireless communications) in order to boost the overall energy efficiency. Specifically, we first examine energy consumption models for graphics processing unit (GPU) computation and wireless transmissions. Then, we overview the state of the art of integrating FL procedure with energy-efficient learning techniques (e.g., gradient sparsification, weight quantization, pruning, etc.). Finally, we present several potential future research directions for FL over 5G+ mobile devices from the perspective of energy efficiency.

研究动机与目标

• 解决电池供电的5G+移动设备上联邦学习的高能耗问题。
• 在联邦学习训练过程中平衡本地GPU计算与无线通信的能耗。
• 制定系统级策略，在保证模型性能的前提下最小化总能耗。
• 探究联邦学习中能效与隐私保护之间的协同效应。
• 提出适用于异构设备的灵活聚合与自适应压缩技术。

提出的方法

• 建立基于GPU的本地计算能耗模型与5G+无线上行链路传输能耗模型。
• 集成梯度稀疏化、量化与模型剪枝技术，以减少通信开销。
• 应用动态批量大小自适应机制，平衡训练能耗与收敛速度。
• 设计一种联合优化计算与通信能耗的协同设计框架。
• 提出灵活且异步的聚合方案，以减少不必要的设备参与与能耗。
• 利用压缩技术的内在隐私优势，增强安全性，而无需额外添加噪声。

实验结果

研究问题

• RQ1 如何通过平衡本地计算与无线通信，最小化在5G+移动设备上联邦学习的能耗？
• RQ2 梯度稀疏化、量化与剪枝对联邦学习能效有何影响？
• RQ3 动态批量大小如何在不损害模型收敛性的情况下提升能效？
• RQ4 灵活且异步的聚合方案在降低能耗方面发挥何种作用？
• RQ5 节能技术是否也能在联邦学习中提供内在的隐私保护？

主要发现

• 通过5G传输一个100MB的ResNet-50模型的能耗，与高端GPU上单次训练步骤的能耗相当（例如，30J）。
• 梯度稀疏化与量化显著降低了通信能耗，且准确率损失可忽略不计。
• 模型剪枝与动态批量大小进一步减少了能耗，通过最小化冗余计算与数据传输实现。
• 灵活且异步的聚合机制减少了每轮活跃设备数量，从而降低了整体能耗。
• 基于压缩的技术（如量化与剪枝）天然增强了隐私保护，减少了对额外噪声注入的需求。
• 仿真结果证实，所提出的协同设计方法在不同设备能力与信道条件下均实现了显著的能耗节省。