[论文解读] Over-the-Air Aggregation for Federated Learning: Waveform Superposition and Prototype Validation

Huayan Guo, Yifan Zhu+6 more|arXiv (Cornell University)|Oct 27, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种基于OFDM的空中（OTA）聚合框架，用于无线联邦学习，可在共享无线资源上实现大量物联网设备本地梯度的模拟波形叠加。通过采用两阶段波形预均衡技术并结合定制化的多址接入协议，有效缓解了定时偏移和频率偏移问题，在真实世界中的接收信号强度（RSS）预测任务中实现了与离线学习相当的收敛性能和高预测精度。

ABSTRACT

In this paper, we develop an orthogonal-frequency-division-multiplexing (OFDM)-based over-the-air (OTA) aggregation solution for wireless federated learning (FL). In particular, the local gradients in massive IoT devices are modulated by an analog waveform and are then transmitted using the same wireless resources. To this end, achieving perfect waveform superposition is the key challenge, which is difficult due to the existence of frame timing offset (TO) and carrier frequency offset (CFO). In order to address these issues, we propose a two-stage waveform pre-equalization technique with a customized multiple access protocol that can estimate and then mitigate the TO and CFO for the OTA aggregation. Based on the proposed solution, we develop a hardware transceiver and application software to train a real-world FL task, which learns a deep neural network to predict the received signal strength with global positioning system information. Experiments verify that the proposed OTA aggregation solution can achieve comparable performance to offline learning procedures with high prediction accuracy.

研究动机与目标

• 解决由于大量物联网设备在有限无线资源上进行上行链路聚合而引发的无线联邦学习可扩展性瓶颈问题。
• 克服在空中聚合中因帧定时偏移（TO）和载波频率偏移（CFO）导致的波形叠加失真问题。
• 开发一个包含收发器和软件栈的实用硬件原型，以在真实世界联邦学习场景中验证OTA聚合。
• 在使用GPS和RSS数据的真实世界信号强度预测任务中，实现与离线聚合相当的联邦学习收敛性能。

提出的方法

• 设计一种基于OFDM的OTA聚合系统，将本地梯度调制为模拟波形，并通过同一无线资源块进行传输。
• 实现一种两阶段波形预均衡技术，以在发射端估计并补偿帧定时偏移（TO）和载波频率偏移（CFO）。
• 引入一种定制化的多址接入协议，使接入点（AP）能够联合估计TO和CFO，从而实现精确的波形叠加。
• 利用基于AD9361射频前端和Xilinx ZCU102/ZC706 SoC的硬件收发器平台，实现基带信号的实时处理与传输。
• 部署基于TCP/IP的完整应用层协议栈，用于主机PC与AP之间的模型交换，支持通过OTA梯度聚合实现迭代联邦学习训练。
• 采用包含三层隐藏层的全连接神经网络，从GPS坐标预测接收信号强度（RSS），并通过OTA聚合进行训练。

Figure 1: Illustration of the over-the-air aggregation federated learning system. Sensors train the local NN with local dataset and upload the gradients. The gradients are aggregated in a wireless channel with an analog waveform and are received by the access point (AP). The aggregated gradients are

实验结果

研究问题

• RQ1 通过模拟波形叠加实现的空中聚合，是否能在真实无线环境中实现与离线聚合相当的联邦学习收敛性能？
• RQ2 帧定时偏移（TO）和载波频率偏移（CFO）如何导致OTA-FL中波形叠加质量下降？是否能够被有效缓解？
• RQ3 所提出的两阶段预均衡技术在多大程度上减少了叠加失真并提升了聚合精度？
• RQ4 基于实时基带处理的硬件原型，是否能够实现对包含数百万个模型参数的实际联邦学习任务的可靠OTA聚合？
• RQ5 通过OTA训练的DNN在真实世界RSS预测任务中的预测精度如何？与离线训练相比表现如何？

主要发现

• 所提出的OTA聚合方案在训练损失曲线中表现出与离线学习相当的收敛速度和最终模型性能。
• 在测试区域，归一化平方预测误差（NMSE）在大多数位置低于0.005，仅在接入点（AP）附近因训练数据稀疏而出现轻微下降。
• 该原型成功利用OTA聚合训练了一个深度神经网络，实现从GPS数据预测RSS，证明了在真实世界部署中的可行性。
• 两阶段预均衡技术有效缓解了TO和CFO的影响，即使在存在硬件非理想性的情况下，也能实现精确的波形叠加。
• 通过避免使用扩频序列（与DSSS不同），系统实现了高谱效率，避免了以往OTA方法中常见的1/N效率损失。
• 基于Xilinx SoC和AD9361射频前端构建的硬件原型，成功实现了端到端的OTA-FL运行，支持实时梯度聚合。

Figure 2: Phase response of the effective OTA aggregation channel of $k$ -th sensor.