[论文解读] Privacy For Free: Wireless Federated Learning Via Uncoded Transmission With Adaptive Power Control

Dongzhu Liu, Osvaldo Simeone|arXiv (Cornell University)|Jun 9, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用 8

一句话总结

该论文提出了一种使用非编码传输与自适应功率控制的隐私保护无线联邦学习框架，证明了当信噪比（SNR）足够低时，信道噪声可自然地提供差分隐私‘免费’保护。关键贡献在于提出了一种闭式最优功率分配策略，在隐私和功率约束下最小化学习最优性差距，通过非正交多址接入（NOMA）相较于正交多址接入（OMA）以及动态功率控制实现性能提升。

ABSTRACT

Federated Learning (FL) refers to distributed protocols that avoid direct raw data exchange among the participating devices while training for a common learning task. This way, FL can potentially reduce the information on the local data sets that is leaked via communications. In order to provide formal privacy guarantees, however, it is generally necessary to put in place additional masking mechanisms. When FL is implemented in wireless systems via uncoded transmission, the channel noise can directly act as a privacy-inducing mechanism. This paper demonstrates that, as long as the privacy constraint level, measured via differential privacy (DP), is below a threshold that decreases with the signal-to-noise ratio (SNR), uncoded transmission achieves privacy "for free", i.e., without affecting the learning performance. More generally, this work studies adaptive power allocation (PA) for decentralized gradient descent in wireless FL with the aim of minimizing the learning optimality gap under privacy and power constraints. Both orthogonal multiple access (OMA) and non-orthogonal multiple access (NOMA) transmission with "over-the-air-computing" are studied, and solutions are obtained in closed form for an offline optimization setting. Furthermore, heuristic online methods are proposed that leverage iterative one-step-ahead optimization. The importance of dynamic PA and the potential benefits of NOMA versus OMA are demonstrated through extensive simulations.

研究动机与目标

• 通过利用信道噪声作为自然隐私机制，在不牺牲学习性能的前提下实现在无线联邦学习中的隐私保护。
• 设计一种最优自适应功率控制策略，在差分隐私与总功率约束下最小化学习最优性差距。
• 比较正交多址接入（OMA）与非正交多址接入（NOMA）在无线联邦学习中过空气聚合的性能表现。
• 为实际部署开发离线闭式解与在线启发式方法，以实现动态功率分配。

提出的方法

• 提出一种基于拉格朗日对偶理论的离线优化框架，推导出在差分隐私与功率约束下最优发射功率与波束成形系数的闭式解。
• 提出一种新颖的自适应功率控制策略，根据信道增益、梯度范数与隐私需求动态分配功率，以最小化学习最优性差距。
• 通过KKT条件推导最优性的必要条件，并利用与隐私约束相关的拉格朗日乘子的二分搜索法求解最优功率分配。
• 通过多址信道中的波形叠加实现过空气计算（OAC），以自然信道噪声实现梯度联合聚合与隐私保护。
• 提出基于一步前瞻迭代优化的启发式在线方法，以适应时变信道与动态学习进度。
• 采用通过差分隐私（DP）衡量的隐私约束，其中隐私预算与信 fading 及发射功率引起的有效噪声功率相关。

实验结果

研究问题

• RQ1 无线衰落信道中的信道噪声是否可作为无需额外噪声注入的机制，实现联邦学习中的差分隐私？
• RQ2 在何种信噪比（SNR）条件下，无线联邦学习中的非编码传输可实现‘免费’隐私保护而不降低学习性能？
• RQ3 自适应功率控制如何在同时满足隐私与总功率约束下改善学习最优性差距？
• RQ4 在自适应功率控制下，NOMA相较于OMA在无线联邦学习中能带来多大性能增益？
• RQ5 与离线最优解相比，在动态无线环境中，在线启发式功率控制策略的有效性如何？

主要发现

• 当所需的差分隐私水平低于随信噪比（SNR）降低而减小的阈值时，隐私可‘免费’实现，即在SNR足够低时不会造成性能损失。
• 所提出的闭式自适应功率控制策略通过在隐私与功率约束下最小化最优性差距，实现最优学习性能，其解显式依赖于信道增益与梯度范数。
• 由于频谱效率更高且功率分配更有效，NOMA在学习性能上优于OMA，尤其在高移动性或设备密集场景中表现更优。
• 与固定功率分配相比，动态功率控制显著提升了学习收敛速度，该结论通过在不同SNR与信道条件下的广泛仿真得到验证。
• 最优功率分配被推导为隐私预算、信道质量与梯度幅值的函数，其解受功率与隐私泄露约束的限制。
• 当所需隐私预算较高（即隐私泄露较低）时，最优功率分配受掩蔽梯度信息所需最小功率的限制；而当隐私需求较低时，功率则根据信道质量与学习进度进行分配。