[论文解读] Over-The-Air Federated Learning under Byzantine Attacks

Houssem Sifaou, Geoffrey Ye Li|arXiv (Cornell University)|May 5, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出 ROTAF，一种鲁棒的空中联邦学习框架，通过将客户端分组并使用几何中位数聚合来防御基于 AirComp 的模型更新过程中的拜占庭攻击。即使少于一半的组被攻破，该方法仍能确保线性收敛至最优解的邻域，且收敛误差受噪声方差和攻击者数量的限制。

ABSTRACT

Federated learning (FL) is a promising solution to enable many AI applications, where sensitive datasets from distributed clients are needed for collaboratively training a global model. FL allows the clients to participate in the training phase, governed by a central server, without sharing their local data. One of the main challenges of FL is the communication overhead, where the model updates of the participating clients are sent to the central server at each global training round. Over-the-air computation (AirComp) has been recently proposed to alleviate the communication bottleneck where the model updates are sent simultaneously over the multiple-access channel. However, simple averaging of the model updates via AirComp makes the learning process vulnerable to random or intended modifications of the local model updates of some Byzantine clients. In this paper, we propose a transmission and aggregation framework to reduce the effect of such attacks while preserving the benefits of AirComp for FL. For the proposed robust approach, the central server divides the participating clients randomly into groups and allocates a transmission time slot for each group. The updates of the different groups are then aggregated using a robust aggregation technique. We extend our approach to handle the case of non-i.i.d. local data, where a resampling step is added before robust aggregation. We analyze the convergence of the proposed approach for both cases of i.i.d. and non-i.i.d. data and demonstrate that the proposed algorithm converges at a linear rate to a neighborhood of the optimal solution. Experiments on real datasets are provided to confirm the robustness of the proposed approach.

研究动机与目标

• 为解决空中联邦学习（OTA-FL）在恶意客户端篡改模型更新时的脆弱性问题。
• 在保持 AirComp 通信效率的同时，确保对恶意客户端的鲁棒性。
• 通过在鲁棒聚合前引入重采样步骤，实现在非独立同分布（non-i.i.d.）数据分布下的收敛性。
• 对独立同分布（i.i.i.d.）和非独立同分布（non-i.i.d.）数据下的收敛性进行理论分析，证明线性收敛至最优解的邻域。
• 通过在真实数据集上的实验，验证所提框架的鲁棒性与有效性。

提出的方法

• 中心服务器将参与的客户端划分为若干组，并为每组分配专用的时隙以实现同时的空中传输。
• 使用几何中位数聚合方法对来自不同组的模型更新进行聚合，以抵抗拜占庭式操纵。
• 针对非独立同分布（non-i.i.i.d.）数据，在鲁棒聚合前引入重采样步骤，以提升收敛稳定性。
• 框架采用 s-替换的重采样机制，生成稳定的更新估计，降低恶意输入带来的方差。
• 理论分析基于概率集中与重采样技术，对几何中位数估计误差进行上界控制。
• 在损失函数的标准假设下证明收敛性，显示线性收敛速率，其渐近误差依赖于噪声和攻击者数量。

实验结果

研究问题

• RQ1 能否在不牺牲通信效率的前提下，使空中联邦学习对拜占庭攻击具备鲁棒性？
• RQ2 与 AirComp 中的简单平均相比，分组传输与几何中位数聚合如何提升系统的抗干扰能力？
• RQ3 在独立同分布（i.i.d.）与非独立同分布（non-i.i.i.d.）数据分布下，所提方法的理论收敛行为如何？
• RQ4 在数据异构性存在的情况下，重采样步骤如何影响鲁棒性与收敛性？
• RQ5 在存在拜占庭攻击者的情况下，渐近学习误差的上界是多少？

主要发现

• 所提出的 ROTAF 框架在独立同分布（i.i.d.）与非独立同分布（non-i.i.i.d.）数据设置下，均能实现线性收敛至最优解的邻域。
• 当拜占庭组的数量少于总组数的一半时，算法保持鲁棒性并能可靠收敛。
• 渐近学习误差受一个与噪声方差和拜占庭攻击者数量成正比的项所限制。
• 重采样步骤显著提升了在非独立同分布（non-i.i.i.d.）数据下的收敛稳定性，减轻了数据异构性的影响。
• 数值实验表明，ROTAF 在抵御拜占庭攻击方面优于简单的平均 OTA-FL 方法。
• 理论分析表明，误差上界与组大小成反比，且依赖于几何中位数估计误差，该误差通过重采样得以控制。