[论文解读] On Convergence of Federated Averaging Langevin Dynamics

Wei Deng, Qian Zhang+3 more|arXiv (Cornell University)|Dec 9, 2021

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出联邦平均Langevin动力学（FA-LD），一种用于联邦学习后验推断的新算法，结合了局部随机梯度Langevin动力学与全局模型平均。它首次在非独立同分布（non-i.i.d.）数据下，对强对数凹后验分布提供了非渐近收敛分析，表明FA-LD在注入噪声的情况下仍保持通信效率，并支持最优的本地更新调度，同时通过可调噪声相关性和部分设备参与，提供差分隐私保证。

ABSTRACT

We propose a federated averaging Langevin algorithm (FA-LD) for uncertainty quantification and mean predictions with distributed clients. In particular, we generalize beyond normal posterior distributions and consider a general class of models. We develop theoretical guarantees for FA-LD for strongly log-concave distributions with non-i.i.d data and study how the injected noise and the stochastic-gradient noise, the heterogeneity of data, and the varying learning rates affect the convergence. Such an analysis sheds light on the optimal choice of local updates to minimize communication costs. Important to our approach is that the communication efficiency does not deteriorate with the injected noise in the Langevin algorithms. In addition, we examine in our FA-LD algorithm both independent and correlated noise used over different clients. We observe there is a trade-off between the pairs among communication, accuracy, and data privacy. As local devices may become inactive in federated networks, we also show convergence results based on different averaging schemes where only partial device updates are available. In such a case, we discover an additional bias that does not decay to zero.

研究动机与目标

• 解决采样型联邦学习算法在凸优化之外缺乏理论收敛保证的问题。
• 通过Langevin动力学实现后验采样，统一联邦学习中的优化与不确定性量化。
• 分析注入噪声、数据异质性、随机梯度噪声及可变学习率对非独立同分布环境下收敛性的影响。
• 提供理论指导，确定最小化通信成本的同时保持准确性的最优本地更新次数。
• 通过支持部分设备参与和调节Langevin更新中的噪声相关性，确保隐私与鲁棒性。

提出的方法

• 提出联邦平均Langevin动力学（FA-LD），一种结合局部SGLD更新与全局模型平均的混合算法。
• 在强对数凹后验分布与非独立同分布客户端数据下，对FA-LD提供非渐近收敛分析。
• 通过依赖条件数的同步频率，将全局后验建模为局部后验样本的聚合。
• 分析注入噪声与随机梯度噪声对收敛性的影响，表明二者是收敛动力学的关键驱动因素。
• 设计两种噪声注入方案——独立同分布（i.i.d.）与相关噪声——以实现通信效率、准确性与数据隐私之间的权衡。
• 通过噪声校准集成差分隐私保证，明确给出在两种方案下$(\tilde{\rho}_K, \tilde{\rho}_{K,T})$-差分隐私的上界。

实验结果

研究问题

• RQ1 在非独立同分布数据下，联邦采样算法能否对强对数凹后验分布实现非渐近收敛保证？
• RQ2 注入噪声、数据异质性与随机梯度噪声如何共同影响联邦后验采样的收敛性？
• RQ3 在保持收敛性与准确性的同时，最小化通信成本的最优本地更新次数是多少？
• RQ4 在不降低收敛性的情况下，如何建模部分设备参与？此类设置下会引入何种额外偏差？
• RQ5 在FA-LD中使用相关或独立噪声时，通信效率、模型准确性与数据隐私之间的权衡如何？

主要发现

• 在强对数凹假设下，FA-LD即使在非独立同分布数据与可变学习率下，仍能实现对全局后验分布的非渐近收敛。
• 在FA-LD中，注入噪声不会损害通信效率，这与标准SGLD不同，使其适用于大规模联邦系统。
• 最优本地更新次数由问题的条件数决定，可通过自适应调度实现通信成本最小化。
• 当仅部分设备参与时，会引入一项不衰减至零的额外偏差，凸显了在慢速设备鲁棒性设置下的根本性局限。
• 在独立与相关噪声方案下，差分隐私均得以保持，显式上界表明$\tilde{\rho}_{K,T} = O\big(\frac{S\triangle_l}{N}\big)\times\text{涉及 } \tau, \rho, \text{ 与 } \theta \text{ 的项}$。
• 在低噪声情形（$\theta \to 0$）下，隐私预算的尺度为$O\big(\frac{S\triangle_l}{N}\big)\times\text{对数项}$，表明隐私与准确性之间存在权衡。