[论文解读] SwiftAgg+: Achieving Asymptotically Optimal Communication Loads in Secure Aggregation for Federated Learning

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali+2 more|arXiv (Cornell University)|Mar 24, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

SwiftAgg+ 是一种用于联邦学习的新型安全聚合协议，通过利用分层秘密共享和基于组的聚合，实现了渐近最优的通信负载。它确保了对最多 $T = o(N)$ 个串通用户的抗性以及对最多 $D = o(N)$ 个用户掉线的抗性，将每个用户的通信负载和服务器通信负载降低至 $ (1 + \mathcal{O}(1/N))L $ 个符号，接近理论上的割集下界。

ABSTRACT

We propose SwiftAgg+, a novel secure aggregation protocol for federated learning systems, where a central server aggregates local models of $N \in \mathbb{N}$ distributed users, each of size $L \in \mathbb{N}$, trained on their local data, in a privacy-preserving manner. SwiftAgg+ can significantly reduce the communication overheads without any compromise on security, and achieve optimal communication loads within diminishing gaps. Specifically, in presence of at most $D=o(N)$ dropout users, SwiftAgg+ achieves a per-user communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols and a server communication load of $(1+\mathcal{O}(\frac{1}{N}))L$ symbols, with a worst-case information-theoretic security guarantee, against any subset of up to $T=o(N)$ semi-honest users who may also collude with the curious server. Moreover, the proposed SwiftAgg+ allows for a flexible trade-off between communication loads and the number of active communication links. In particular, for $T

研究动机与目标

• 设计一种联邦学习的安全聚合协议，以最小化通信开销，同时保持强大的隐私保障。
• 在存在用户掉线和半诚实串通的最坏情况下，实现渐近最优的通信负载。
• 通过结构化的组通信，实现通信负载与活跃网络连接数之间的灵活权衡。
• 在不损害安全性的前提下，支持最多 $D = o(N)$ 个用户掉线情况下的鲁棒模型聚合。
• 将每个用户的通信成本和服务器通信成本降低至低于现有协议（如 SecAgg 和 TurboAgg）的水平，接近信息论极限。

提出的方法

• 协议使用基于树的结构将用户划分为分层组，以高效管理秘密共享和聚合。
• 采用组内和组间秘密共享机制，每个用户通过在组间分布的随机向量共享其本地模型的掩码版本。
• 协议采用两阶段通信模型：第一阶段，用户发送掩码并编码的模型更新；第二阶段，利用幸存用户的贡献重建掉线用户缺失的份额。
• 利用拉格朗日编码计算技术，实现在聚合过程中从掉线用户的缺失份额中恢复模型组件。
• 通信图被构建为 $k$-正则树，每个用户具有 $K$ 个活跃连接，从而可控制网络负载和延迟。
• 通过信息论掩码实现安全：所有随机向量均为均匀分布，确保即使串通用户与好奇服务器也无法推断出个体模型。

实验结果

研究问题

• RQ1 联邦学习中的安全聚合能否实现渐近接近信息论下界的通信负载？
• RQ2 如何在保持对 $T = o(N)$ 个串通用户和 $D = o(N)$ 个用户掉线的安全性的同时，提升通信效率？
• RQ3 在安全聚合中，通信负载与活跃网络连接数之间的最优权衡是什么？
• RQ4 能否将分层秘密共享与编码计算相结合，以降低每个用户的通信成本和服务器通信成本？
• RQ5 是否可能设计一种协议，在不增加通信开销的前提下，支持动态用户掉线和串通抵抗？

主要发现

• 当 $T = o(N)$ 且 $D = o(N)$ 时，SwiftAgg+ 实现了每个用户 $ (1 + \mathcal{O}(1/N))L $ 个符号的通信负载，渐近接近割集下界。
• 服务器通信负载同样为 $ (1 + \mathcal{O}(1/N))L $ 个符号，实现了总通信成本的渐近最优。
• 对于任意 $K \in \mathbb{N}$，SwiftAgg+ 可实现 $ (1 + \frac{T}{K})L $ 个符号的服务器通信负载，以及最高 $ (1 + \frac{T+D}{K})L $ 个符号的用户通信负载，同时维持 $ \frac{N}{2}(K + T + D + 1) $ 个活跃的成对连接。
• 协议确保了信息论安全：即使有 $T$ 个用户与服务器串通，非串通用户全局模型与服务器视图之间的互信息也为零。
• 在本地模型均匀分布的情况下，每个用户的通信负载在相同条件下与割集下界相差一个 $ \log_{\ell}(\ell N) $ 因子。
• 通过调整聚合树的深度，协议支持动态掉线容错和灵活的延迟控制，实现了延迟与通信效率之间的权衡。