[论文解读] Privacy-Preserving Aggregation in Federated Learning: A Survey

Ziyao Liu, Jiale Guo+4 more|arXiv (Cornell University)|Mar 31, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本综述对联邦学习（FL）中的隐私保护聚合（PPAgg）协议进行了全面分析，评估了基于掩码、同态加密（HE）、多方计算（MPC）、差分隐私（DP）以及混合方法的各类方案。它识别出在安全性、效率和鲁棒性之间的关键权衡，并指出了吞吐量、混合安全集成以及通信优化方面的挑战。

ABSTRACT

Over the recent years, with the increasing adoption of Federated Learning (FL) algorithms and growing concerns over personal data privacy, Privacy-Preserving Federated Learning (PPFL) has attracted tremendous attention from both academia and industry. Practical PPFL typically allows multiple participants to individually train their machine learning models, which are then aggregated to construct a global model in a privacy-preserving manner. As such, Privacy-Preserving Aggregation (PPAgg) as the key protocol in PPFL has received substantial research interest. This survey aims to fill the gap between a large number of studies on PPFL, where PPAgg is adopted to provide a privacy guarantee, and the lack of a comprehensive survey on the PPAgg protocols applied in FL systems. In this survey, we review the PPAgg protocols proposed to address privacy and security issues in FL systems. The focus is placed on the construction of PPAgg protocols with an extensive analysis of the advantages and disadvantages of these selected PPAgg protocols and solutions. Additionally, we discuss the open-source FL frameworks that support PPAgg. Finally, we highlight important challenges and future research directions for applying PPAgg to FL systems and the combination of PPAgg with other technologies for further security improvement.

研究动机与目标

• 为解决目前缺乏专门聚焦于联邦学习（FL）系统中隐私保护聚合（PPAgg）协议的全面综述的问题。
• 分析主要PPAgg协议的设计、优势与局限性，包括掩码、同态加密、多方计算、差分隐私以及混合方案。
• 评估支持PPAgg的开源联邦学习框架，识别实际部署中的差距。
• 突出显示开放性挑战，如吞吐量瓶颈、对恶意行为的鲁棒性，以及与其他隐私增强技术的集成。
• 通过识别提升PPFL系统安全性和效率的有前景研究方向，为未来研究提供指导。

提出的方法

• 根据底层隐私保护技术对PPAgg协议进行分类：掩码、同态加密（HE）、多方计算（MPC）、差分隐私（DP）以及混合方法。
• 分析每类协议的安全属性（例如对半诚实和主动攻击者的抵抗能力）、效率（计算与通信开销）以及对参与者掉线的鲁棒性。
• 评估PPAgg与系统级特性（如批量处理、压缩技术（例如Top-k稀疏化）以及硬件加速（例如FPGA、GPU））的集成。
• 调研支持PPAgg的开源联邦学习框架（如TensorFlow Federated和Flower），评估其协议支持程度与部署成熟度。
• 提出将PPAgg与额外防御机制（如可验证秘密共享、区块链、可信执行环境（TEEs））结合的混合方案，以应对投毒攻击和推理攻击。
• 检查PPAgg协议中的性能瓶颈，特别是由于通用密码原语导致的高通信与计算成本，并识别优化机会。

实验结果

研究问题

• RQ1 在联邦学习中，不同PPAgg协议族（包括掩码、HE、MPC和DP）的关键设计原则与权衡是什么？
• RQ2 PPAgg协议在面对各种威胁模型（包括半诚实和主动攻击者）时的安全性能如何？其在参与者掉线情况下的鲁棒性特征是什么？
• RQ3 现有PPAgg协议中的主要性能瓶颈是什么，特别是通信与计算开销方面？如何缓解这些问题？
• RQ4 如何有效结合PPAgg与其他隐私与安全机制（如拜占庭容错聚合、TEEs或区块链）以防御投毒攻击和推理攻击？
• RQ5 当前在将压缩技术与PPAgg集成方面存在哪些限制？如何在不泄露顺序信息的前提下实现隐私保护的向量重建？

主要发现

• 基于掩码的协议（如SecAgg）在提供强隐私保障的同时具备良好的效率和掉线鲁棒性，使其适用于跨设备联邦学习场景中资源受限的设备。
• 基于同态加密（HE）和多方计算（MPC）的协议提供了强安全性，但其计算与通信开销较高，限制了其在大规模联邦学习部署中的可扩展性。
• 基于差分隐私（DP）的聚合提供了形式化的隐私保障，但通常以显著降低模型效用为代价，尤其在高维模型更新中更为明显。
• 将PPAgg与可验证秘密共享或可信执行环境（TEEs）等技术结合的混合方案可增强对服务器端投毒和推理攻击的防御能力，但其集成复杂性仍是挑战。
• 通信开销仍是主要瓶颈；轻量级密码原语以及批量处理技术（如HE中的SIMD、批量加密）对于提升吞吐量至关重要。
• 压缩技术（如Top-k稀疏化）与PPAgg的集成存在困难，因为顺序信息可能泄露隐私，因此需要新颖的安全重建机制以保护隐私。