[论文解读] One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis

Guangxu Zhu, Yuqing Du+2 more|arXiv (Cornell University)|Jan 16, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 33被引用 10

一句话总结

本文提出了一种单比特宽带数字聚合（OBDA）方案，这是一种用于通信高效联邦边缘学习的数字空中计算方案，其中边缘设备将梯度量化为1比特并通过QAM传输，边缘服务器则执行空中多数投票。关键贡献在于收敛性分析，表明信道噪声、衰落和估计误差会引入偏差和缩放因子，但其影响随设备数量增加而减弱。

ABSTRACT

Federated edge learning (FEEL) is a popular framework for model training at an edge server using data distributed at edge devices (e.g., smart-phones and sensors) without compromising their privacy. In the FEEL framework, edge devices periodically transmit high-dimensional stochastic gradients to the edge server, where these gradients are aggregated and used to update a global model. When the edge devices share the same communication medium, the multiple access channel (MAC) from the devices to the edge server induces a communication bottleneck. To overcome this bottleneck, an efficient broadband analog transmission scheme has been recently proposed, featuring the aggregation of analog modulated gradients (or local models) via the waveform-superposition property of the wireless medium. However, the assumed linear analog modulation makes it difficult to deploy this technique in modern wireless systems that exclusively use digital modulation. To address this issue, we propose in this work a novel digital version of broadband over-the-air aggregation, called one-bit broadband digital aggregation (OBDA). The new scheme features one-bit gradient quantization followed by digital quadrature amplitude modulation (QAM) at edge devices and over-the-air majority-voting based decoding at edge server. We provide a comprehensive analysis of the effects of wireless channel hostilities (channel noise, fading, and channel estimation errors) on the convergence rate of the proposed FEEL scheme. The analysis shows that the hostilities slow down the convergence of the learning process by introducing a scaling factor and a bias term into the gradient norm. However, we show that all the negative effects vanish as the number of participating devices grows, but at a different rate for each type of channel hostility.

研究动机与目标

• 为解决多个设备共享无线介质所导致的联邦边缘学习（FEEL）通信瓶颈问题。
• 通过用数字QAM替代模拟调制，实现现代数字无线系统中空中聚合的实际部署。
• 设计一种一比特量化与数字调制方案，支持同时传输与空中聚合。
• 分析无线信道损伤——噪声、衰落和信道估计误差——对FEEL使用OBDA时收敛性的影响。
• 建立理论条件，说明随着设备数量增加，信道损伤的负面影响将消失。

提出的方法

• 在每个边缘设备上进行一比特梯度量化，以减少通信开销。
• 通过无线多址接入信道（MAC）使用数字正交频分复用调制（QAM）进行传输。
• 在边缘服务器采用基于空中多数投票的解码方法以重建聚合梯度。
• 采用截断的信道反转功率控制以缓解衰落并确保可靠传输。
• 使用具有有界估计误差的不完美信道状态信息（CSI）来建模真实无线环境。
• 推导在不完美CSI、噪声和衰落条件下的误比特率边界，以分析收敛性退化。

实验结果

研究问题

• RQ1 单比特数字空中聚合在无线多址接入信道中对联邦边缘学习收敛性有何影响？
• RQ2 信道噪声、衰落和不完美信道状态信息对学习收敛速度有何影响？
• RQ3 能否通过OBDA框架中的设备规模扩展来缓解无线信道损伤的负面影响？
• RQ4 OBDA的收敛行为与理想化空中计算（完美信道条件）相比如何？
• RQ5 设备数量在减小信道损伤引入的偏差和缩放因子方面起什么作用？

主要发现

• 信道噪声、衰落和信道估计误差在梯度范数中引入了偏差和缩放因子，从而减缓收敛速度。
• 随着参与设备数量的增加，偏差和缩放效应减弱，且各类损伤的衰减速率不同。
• 在不完美CSI下，误比特率有界，且依赖于活动设备数量、信噪比和估计误差方差。
• 在有界信道估计误差假设下，不完美CSI导致的收敛速率退化被量化，并随着设备数量增加而消失。
• 所提出的OBDA方案在真实无线条件下仍能保持收敛，且对误差边界和收敛行为具有理论保证。
• 分析表明，信道估计误差的影响以 $ \mathcal{O}(1/\sqrt{K}) $ 的速率衰减，而噪声影响以 $ \mathcal{O}(1/K) $ 的速率衰减，其中 $ K $ 为设备数量。