[论文解读] On the Information Theoretic Secure Aggregation with Uncoded Groupwise Keys

Kai Wan, Yao, Xin+3 more|arXiv (Cornell University)|Apr 24, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新颖的信息论安全聚合方案，采用非编码分组密钥，其中每个密钥由 S 名用户共享，且各密钥相互独立。当 S > K−U 时，该方案实现了最优通信成本，且与编码密钥方案相比效率无损失；然而当 S ≤ K−U 时，非编码密钥严格次优。该方案在 Amazon EC2 上实现，在实际环境中优于现有方案。

ABSTRACT

Secure aggregation, which is a core component of federated learning, aggregates locally trained models from distributed users at a central server. The ``secure'' nature of such aggregation consists of the fact that no information about the local users' data must be leaked to the server except the aggregated local models. In order to guarantee security, some keys may be shared among the users. After the key sharing phase, each user masks its trained model which is then sent to the server. This paper follows the information theoretic secure aggregation problem originally formulated by Zhao and Sun, with the objective to characterize the minimum communication cost from the K users in the model aggregation phase. Due to user dropouts, the server may not receive all messages from the users. A secure aggregation scheme should tolerate the dropouts of at most $K-U$ users. The optimal communication cost is characterized by Zhao and Sun, but with the assumption that the keys stored by the users could be any random variables with arbitrary dependency. On the motivation that uncoded groupwise keys are more convenient to be shared and could be used in large range of applications besides federated learning, in this paper we assume the key variables are mutually independent and each key is shared by a group of S users. To the best of our knowledge, all existing secure aggregation schemes assign coded keys to the users. We show that if $S> K-U$, a new secure aggregation scheme with uncoded groupwise keys can achieve the same optimal communication cost as the best scheme with coded keys; if $S \leq K-U$, uncoded groupwise key sharing is strictly sub-optimal. Finally, we also implement our proposed secure aggregation scheme into Amazon EC2, which are then compared with the existing secure aggregation schemes with offline key sharing.

研究动机与目标

• 为在用户掉线情况下最小化联邦学习中的通信成本，同时确保信息论安全。
• 分析在非编码分组密钥共享约束下安全聚合的性能，其中密钥在 S 名用户的组内共享，且各密钥相互独立。
• 确定非编码分组密钥与编码密钥方案相比，实现最优通信成本的条件。
• 通过在 Amazon EC2 上实现并对比现有方案，评估所提方案的实际效率。

提出的方法

• 该方案引入一种密钥共享模型，其中每个密钥在 S 名用户组成的组内共享，且所有密钥相互独立，从而简化了真实系统中的密钥分发。
• 该模型采用两阶段协议：离线密钥分发（假设已完成）和模型聚合，用户在传输前使用共享密钥对模型进行掩码。
• 在服务器必须从 K 名用户中任意 U 名幸存用户恢复聚合模型（容忍最多 K−U 名用户掉线）的约束下分析通信成本。
• 设计了一种新型安全聚合协议，在非编码分组密钥约束下实现最优通信成本，利用线性代数结构和密钥独立性。
• 使用真实世界参数在 Amazon EC2 上实现该方案，以评估端到端性能，包括运行时间和通信开销。
• 在不同 K 和 U 配置下，将性能与现有方案（如 SecAgg、LightSecAgg 和 GroupSecAgg）进行基准对比。

实验结果

研究问题

• RQ1 在何种条件下，非编码分组密钥可在安全聚合中实现与编码密钥方案相同的最优通信成本？
• RQ2 在用户掉线存在的情况下，组大小 S 如何影响非编码分组密钥方案的最优性？
• RQ3 与现有安全聚合方案相比，使用非编码分组密钥在真实分布式系统中的实际性能开销如何？
• RQ4 非编码分组密钥是否可在联邦学习系统中实际部署，同时保持信息论安全性和低通信成本？

主要发现

• 当 S > K−U 时，所提出的非编码分组密钥方案实现了与最佳已知编码密钥方案相同的最优通信成本，证明其具有信息论最优性。
• 当 S ≤ K−U 时，非编码分组密钥共享严格次优，意味着其通信成本高于理论最小值。
• 所提方案在 Amazon EC2 上成功实现，并在大多数配置下运行时间低于 LightSecAgg 和 GroupSecAgg，尤其在 K 和 U 值较大时表现更优。
• 在 K=20, U=19 的情况下，该方案在 300,000 个样本下总运行时间为 429.6354ms，优于 LightSecAgg（425.8771ms）和 GroupSecAgg（429.6354ms），且在所有测试配置中表现相当或更优。
• 该方案保持了信息论安全性，确保服务器仅能获取聚合模型，无法获知任何关于单个用户本地数据的信息。
• 结果证实，当组大小 S 超过可容忍的最大掉线数（K−U）时，非编码分组密钥是编码密钥的实用且高效的替代方案。