[论文解读] Training Federated GANs with Theoretical Guarantees: A Universal Aggregation Approach

Yikai Zhang, Hui Qu+4 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 47被引用 7

一句话总结

该论文提出了一种新型联邦生成对抗网络框架——通用聚合生成对抗网络（UA-GAN），通过基于奇偶值的本地判别器聚合方法，可证明地学习异构本地数据分布的混合分布。通过通用聚合模拟集中式判别器，UA-GAN 确保理论收敛至目标混合分布，在非独立同分布（non-i.i.i.d.）和数据不平衡的数据集上，FID 和 IS 分数显著优于现有方法。

ABSTRACT

Recently, Generative Adversarial Networks (GANs) have demonstrated their potential in federated learning, i.e., learning a centralized model from data privately hosted by multiple sites. A federatedGAN jointly trains a centralized generator and multiple private discriminators hosted at different sites. A major theoretical challenge for the federated GAN is the heterogeneity of the local data distributions. Traditional approaches cannot guarantee to learn the target distribution, which isa mixture of the highly different local distributions. This paper tackles this theoretical challenge, and for the first time, provides a provably correct framework for federated GAN. We propose a new approach called Universal Aggregation, which simulates a centralized discriminator via carefully aggregating the mixture of all private discriminators. We prove that a generator trained with this simulated centralized discriminator can learn the desired target distribution. Through synthetic and real datasets, we show that our method can learn the mixture of largely different distributions where existing federated GAN methods fail.

研究动机与目标

• 解决在不同站点本地数据分布高度异构时训练联邦生成对抗网络的挑战。
• 克服现有方法（如 Avg-GAN 和 MD-GAN）因平均后验概率而导致生成器产生偏差的问题。
• 构建一个理论基础坚实的框架，确保即使本地判别器表现不佳，生成器仍能学习到真实的本地分布混合。
• 提出一种新颖的理论分析，基于奇偶值与 Jensen-Shannon 散度，分析在判别器非最优条件下的生成对抗网络训练过程。

提出的方法

• 提出一种通用聚合机制，基于奇偶值而非后验概率，聚合来自本地判别器的梯度。
• 通过近似所有本地数据源混合分布的奇偶比，模拟一个集中式判别器。
• 利用基于奇偶值的反馈训练全局生成器，确保其学习目标混合分布，而不偏向于常见模式。
• 引入一个理论框架，以本地判别器的奇偶值表示 Jensen-Shannon 散度损失，从而界定近似误差。
• 证明生成器的近似误差随本地判别器性能下降呈线性退化，且该界为紧致界。
• 在去中心化训练流程中实现该方法，仅在客户端与服务器之间交换梯度（而非原始数据）。

实验结果

研究问题

• RQ1 当本地判别器在异构数据上训练时，联邦生成对抗网络框架能否可证明地学习到非相同本地数据分布的混合？
• RQ2 与直接聚合预测结果相比，通过聚合本地判别器的奇偶值是否能生成更准确且无偏的生成器？
• RQ3 本地判别器性能不佳如何影响联邦生成对抗网络中生成样本的质量？
• RQ4 能否推导出生成器近似误差的理论界，并在现实中的非最优条件下证明其紧致性？
• RQ5 在非独立同分布和数据不平衡的数据集上，UA-GAN 与现有联邦生成对抗网络基线方法（如 Avg-GAN、MD-GAN）在 FID、IS 和分类准确率方面相比如何？

主要发现

• 在包含 50 个站点的非独立同分布 MNIST+Fashion 数据集上，UA-GAN 的 Fréchet Inception Distance（FID）为 53.26，显著低于 Avg-GAN（90.36）和 MD-GAN（89.36），表明其生成样本质量更优。
• 在相同设置下，UA-GAN 在下游分类器上达到 62.6% 的分类准确率，远超 Avg-GAN（48.9%）和 MD-GAN（46.5%），表明其特征学习能力更强。
• 在数据不平衡的非独立同分布 MNIST+Fashion 数据集上，UA-GAN 的 FID 为 30.30，准确率为 84.6%，显著优于 Avg-GAN（FID: 74.45，准确率: 49.7%）和 MD-GAN（FID: 85.61，准确率: 44.3%）。
• 在无条件设置下，UA-GAN 在非独立同分布 MNIST+Fashion 上实现了 IS 为 3.280 ± 0.022，FID 为 22.34，优于 MD-GAN（IS: 2.852，FID: 60.34）和 Avg-GAN（IS: 4.068，FID: 61.56）。
• 理论分析表明，生成器近似误差随本地判别器非最优性线性增长，且该界为紧致界，验证了该框架的鲁棒性。
• 实验结果证实，UA-GAN 在所有设置下均能生成更多样化且更真实的样本，尤其在非独立同分布和数据不平衡场景中，其表现显著优于先前方法。