[论文解读] Privacy-preserving Decentralized Aggregation for Federated Learning

Beomyeol Jeon, S M Ferdous+2 more|arXiv (Cornell University)|Dec 13, 2020

Privacy-Preserving Technologies in Data参考文献 64被引用 7

一句话总结

本文提出 SecureD-FL，一种隐私保护的去中心化联邦学习框架，通过组合群组通信模式最小化基于 ADMM 的聚合中的隐私泄露。通过利用可分解的平衡不完全区组设计（resolvable balanced incomplete block designs）结构化对等交互，该方法在防止诚实但好奇的攻击者获取隐私信息的同时，将模型准确率保持在集中式联邦学习的 0.73% 以内，且无需昂贵的同态加密或噪声注入。

ABSTRACT

Federated learning is a promising framework for learning over decentralized data spanning multiple regions. This approach avoids expensive central training data aggregation cost and can improve privacy because distributed sites do not have to reveal privacy-sensitive data. In this paper, we develop a privacy-preserving decentralized aggregation protocol for federated learning. We formulate the distributed aggregation protocol with the Alternating Direction Method of Multiplier (ADMM) and examine its privacy weakness. Unlike prior work that use Differential Privacy or homomorphic encryption for privacy, we develop a protocol that controls communication among participants in each round of aggregation to minimize privacy leakage. We establish its privacy guarantee against an honest-but-curious adversary. We also propose an efficient algorithm to construct such a communication pattern, inspired by combinatorial block design theory. Our secure aggregation protocol based on this novel group communication pattern design leads to an efficient algorithm for federated training with privacy guarantees. We evaluate our federated training algorithm on image classification and next-word prediction applications over benchmark datasets with 9 and 15 distributed sites. Evaluation results show that our algorithm performs comparably to the standard centralized federated learning method while preserving privacy; the degradation in test accuracy is only up to 0.73%.

研究动机与目标

• 解决去中心化联邦学习中模型参数可能被诚实但好奇的对手利用而导致的隐私泄露问题。
• 消除对可信第三方或计算成本高昂的同态加密在安全聚合中的依赖。
• 设计一种通信模式，以限制信息暴露，同时保持收敛性和模型准确率。
• 基于 ADMM 迭代中共同分组参与者的间隔，建立理论隐私保障。
• 设计一种高效、可扩展的随机化算法，利用组合区组设计理论构建安全的通信群组。

提出的方法

• 提出基于 ADMM 的联邦学习，采用隐私感知的通信模式，限制每轮迭代中仅在不相交的对等群组内进行交互。
• 引入“间隔”（gap）概念——即两台设备处于同一群组的两次迭代之间的间隔数——作为隐私度量指标，间隔越大隐私保护越强。
• 将安全群组形成问题映射为可分解的平衡不完全区组设计（BIBD），以确保交互模式的均匀性与隐私性。
• 提出一种随机化算法，高效生成符合 BIBD 的通信群组，可扩展至 9 至 15 名参与者。
• 采用 ADMM 并引入早期终止机制（仅 2 次迭代），在保持模型性能的同时降低通信开销。
• 将安全聚合协议集成至完整的联邦学习流水线，适用于图像和自然语言处理任务。

实验结果

研究问题

• RQ1 去中心化联邦学习系统是否能在不依赖差分隐私或同态加密的前提下保护模型隐私？
• RQ2 如何设计对等节点间的通信模式，以最小化基于 ADMM 的聚合中的信息泄露？
• RQ3 在联邦学习中，群组交互频率与隐私泄露之间的理论关系是什么？
• RQ4 组合设计理论能否有效应用于生成联邦学习中安全且可扩展的对等通信模式？
• RQ5 在去中心化训练中，隐私（以间隔衡量）与模型准确率之间的权衡关系如何？

主要发现

• 经典基于 ADMM 的聚合协议即使在无数据传输的情况下，仍可能受到诚实但好奇的对手的隐私攻击。
• 所提出的 SecureD-FL 在图像分类与下一个词预测任务上，测试准确率与集中式联邦学习相比仅损失 0.73%。
• 仅使用 2 次 ADMM 迭代，模型即可保持高准确率，显著降低通信开销，同时保障隐私。
• 随机化群组构建算法成功生成了最多 15 名参与者的有效通信划分，性能随群组规模提升而增强。
• 间隔度量提供了可量化的隐私保障：间隔至少为 k 时，可确保最多 2k−1 次迭代的安全性。
• 该方法在无需可信第三方、同态加密或噪声注入的前提下实现强隐私保护，提供了一种轻量且高效的替代方案。