[论文解读] To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices

Liang Li, Dian Shi+4 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 12

一句话总结

本文提出了一种适用于异构移动边缘设备的灵活通信压缩方案，以实现能效更高的联邦学习。通过联合优化基于设备特定计算与通信条件的梯度稀疏性和时间稀疏性，该方法平衡了‘工作’（本地计算）与‘交谈’（梯度传输）的能量消耗，实现了高达100倍的能效提升，且未牺牲模型精度。

ABSTRACT

Recent advances in machine learning, wireless communication, and mobile hardware technologies promisingly enable federated learning (FL) over massive mobile edge devices, which opens new horizons for numerous intelligent mobile applications. Despite the potential benefits, FL imposes huge communication and computation burdens on participating devices due to periodical global synchronization and continuous local training, raising great challenges to battery constrained mobile devices. In this work, we target at improving the energy efficiency of FL over mobile edge networks to accommodate heterogeneous participating devices without sacrificing the learning performance. To this end, we develop a convergence-guaranteed FL algorithm enabling flexible communication compression. Guided by the derived convergence bound, we design a compression control scheme to balance the energy consumption of local computing (i.e., "working") and wireless communication (i.e., "talking") from the long-term learning perspective. In particular, the compression parameters are elaborately chosen for FL participants adapting to their computing and communication environments. Extensive simulations are conducted using various datasets to validate our theoretical analysis, and the results also demonstrate the efficacy of the proposed scheme in energy saving.

研究动机与目标

• 解决由于频繁通信和本地训练导致电池受限的移动边缘设备在联邦学习中能耗过高的问题。
• 克服现有压缩联邦学习方法在异构设备上假设统一压缩的局限性。
• 设计一种具有收敛性保障的联邦学习算法，支持灵活、设备自适应的通信压缩。
• 从长期学习视角，平衡本地计算（‘工作’）与无线传输（‘交谈’）之间的能量消耗。
• 设计一种压缩控制方案，根据设备特定的计算与信道条件，动态调整梯度稀疏性和时间稀疏性。

提出的方法

• 提出一种灵活的通信压缩框架，针对每个设备联合优化梯度稀疏性和时间稀疏性。
• 推导一个理论收敛边界，同时考虑压缩引起的梯度失真和通信延迟的影响。
• 设计一种压缩控制方案，通过平衡本地计算与通信的能量成本，最小化总能耗。
• 采用设备特定的能量成本模型，其中压缩参数（梯度稀疏性和时间稀疏性）根据计算与信道条件自适应选择。
• 实施一种动态优化策略，根据通信质量与计算能力的变化调整压缩级别。
• 将压缩控制集成到基于本地SGD的联邦学习算法中，确保收敛性的同时最小化能耗。

实验结果

研究问题

• RQ1 如何将通信压缩灵活适配于计算与通信能力各异的异构移动边缘设备？
• RQ2 在联邦学习中，为最小化总能耗，梯度稀疏性与时间稀疏性之间存在何种权衡？
• RQ3 能否设计一种具有收敛性保障的联邦学习算法，支持设备特定压缩并保持模型精度？
• RQ4 ‘工作’（计算）与‘交谈’（通信）能量成本之间的平衡如何影响整体训练效率？
• RQ5 通过自适应压缩控制，能耗最多可降低多少，而不会损害模型收敛性？

主要发现

• 所提出的灵活压缩方案在多个数据集和模型上，相比基线分布式SGD，能耗降低了1.5倍至100倍。
• 该方案保持了与统一压缩方法相当的收敛性能，最终精度仅略低于非压缩基线。
• 时间稀疏性对收敛速度的影响比梯度稀疏性更显著，表明降低通信频率比减小梯度大小更有效。
• 在低复杂度环境中，该方法优先通过提高时间稀疏性减少通信轮次；在高延迟环境中，则增加梯度稀疏性以降低每轮传输成本。
• 控制方案有效管理了梯度稀疏性与时间稀疏性之间的权衡，实现了对设备异构性的平滑适应。
• 仿真结果证实，理论收敛边界能准确预测灵活压缩下的模型行为，验证了分析框架的有效性。