[论文解读] Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in Federated Learning

Jinhyun So, Ramy E. Ali+3 more|arXiv (Cornell University)|Jun 7, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 19

一句话总结

本文提出 Multi-RoundSecAgg，一种用于联邦学习的结构化用户选择策略，通过防止服务器在多个训练轮次中重构单个用户的本地模型，提供长期隐私保障。与传统随机用户选择不同，后者在经历线性数量轮次后会泄露模型信息，而 Multi-RoundSecAgg 由于参与矩阵秩不足，使得个体梯度无法被估计，从而在 MNIST、CIFAR-10 和 CIFAR-100 数据集上实现强隐私保护，且准确率损失最小。

ABSTRACT

Secure aggregation is a critical component in federated learning (FL), which enables the server to learn the aggregate model of the users without observing their local models. Conventionally, secure aggregation algorithms focus only on ensuring the privacy of individual users in a single training round. We contend that such designs can lead to significant privacy leakages over multiple training rounds, due to partial user selection/participation at each round of FL. In fact, we show that the conventional random user selection strategies in FL lead to leaking users' individual models within number of rounds that is linear in the number of users. To address this challenge, we introduce a secure aggregation framework, Multi-RoundSecAgg, with multi-round privacy guarantees. In particular, we introduce a new metric to quantify the privacy guarantees of FL over multiple training rounds, and develop a structured user selection strategy that guarantees the long-term privacy of each user (over any number of training rounds). Our framework also carefully accounts for the fairness and the average number of participating users at each round. Our experiments on MNIST and CIFAR-10 datasets in the IID and the non-IID settings demonstrate the performance improvement over the baselines, both in terms of privacy protection and test accuracy.

研究动机与目标

• 解决联邦学习中的关键问题：尽管用户在多轮中重复参与，但传统安全聚合仅在单轮中提供隐私保护。
• 量化由于部分用户参与和随机选择策略导致的联邦学习中长期隐私泄露。
• 设计一种结构化用户选择机制，确保在任意数量训练轮次中个体模型的隐私。
• 通过控制平均参与用户数和选择公平性，平衡长期隐私与系统效率。
• 证明所提方法在测试准确率上可与随机选择相媲美，同时显著提升长期隐私。

提出的方法

• 引入一种新隐私度量，衡量服务器利用任意轮次聚合更新重构单个本地模型的能力。
• 设计一种结构化用户选择策略，将用户分组为批次，使得多轮中的参与矩阵秩不足，从而通过最小二乘估计防止梯度反演。
• 使用从轮次 t₀ 到 t₁−1 的参与矩阵 P^(t₀;t₁)，确保其非满秩，使最小二乘解中的逆矩阵不可逆。
• 仅当 P^(t₀;t₁) 为满秩时应用最小二乘法估计个体梯度；否则，重构不可能实现。
• 通过调整平均参与用户数和多轮隐私保证 T，控制隐私与效率之间的权衡。
• 采用收敛性分析表明，更高的隐私（更大的 T）会降低收敛速度，需更多轮次才能达到相同准确率。

实验结果

研究问题

• RQ1 在联邦学习中，即使每轮都使用安全聚合，传统的 K-均匀随机用户选择策略是否仍可能导致服务器在多轮中重构出单个本地模型？
• RQ2 如何在单轮保护之外，形式化量化联邦学习中的长期隐私？
• RQ3 何种结构化用户选择策略可确保在任意数量训练轮次中个体模型保持私密？
• RQ4 在联邦学习中，长期隐私、收敛速度与平均参与用户数之间存在何种权衡？
• RQ5 能否设计一种隐私保护选择策略，在防止模型反演攻击的同时，保持与随机选择相当的高测试准确率？

主要发现

• 传统 K-均匀随机选择策略导致重构误差为 6.715×10⁻³，使服务器能够准确恢复单个本地梯度。
• 当 T=2 时，Multi-RoundSecAgg 的重构误差为 0.7829，表明由于参与矩阵秩不足，服务器无法重构个体梯度。
• 在 Multi-RoundSecAgg（T=2,4）下，对重构梯度的模型反演攻击生成的图像与原始图像的相似度显著低于随机选择（T=1），以 PSNR 和 MSE 衡量。
• 在 MNIST、CIFAR-10 和 CIFAR-100 数据集上，Multi-RoundSecAgg 的测试准确率几乎与随机选择相同，表明性能下降可忽略。
• 随着隐私保证 T 的增加，Multi-RoundSecAgg 的收敛速度下降，需更多轮次才能达到与随机选择相同的准确率水平。
• 该框架在公平性、平均参与度与长期隐私之间实现平衡，且随着隐私要求提高，平均参与人数相应减少。