[论文解读] Secure Aggregation with Heterogeneous Quantization in Federated Learning

Ahmed Roushdy Elkordy, Amir Salman Avestimehr|arXiv (Cornell University)|Sep 30, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用 16

一句话总结

HeteroSAg 提出了一种联邦学习中的安全聚合框架，支持异构量化，使用户能够根据自身的通信资源自适应调整量化级别。通过用户分组并应用协同的、分段聚合与加法掩码，该方法实现了更优的准确率-延迟权衡，并通过逐坐标中位数机制实现了同时的拜占庭鲁棒性，优于同质量化和标准安全聚合协议。

ABSTRACT

Secure model aggregation across many users is a key component of federated learning systems. The state-of-the-art protocols for secure model aggregation, which are based on additive masking, require all users to quantize their model updates to the same level of quantization. This severely degrades their performance due to lack of adaptation to available bandwidth at different users. We propose three schemes that allow secure model aggregation while using heterogeneous quantization. This enables the users to adjust their quantization proportional to their available bandwidth, which can provide a substantially better trade-off between the accuracy of training and the communication time. The proposed schemes are based on a grouping strategy by partitioning the network into groups, and partitioning the local model updates of users into segments. Instead of applying aggregation protocol to the entire local model update vector, it is applied on segments with specific coordination between users. We theoretically evaluate the quantization error for our schemes, and also demonstrate how our schemes can be utilized to overcome Byzantine users.

研究动机与目标

• 为解决现有最先进的安全聚合协议中因统一量化导致的性能下降问题，这些协议未根据用户不同的通信资源进行自适应调整。
• 设计一种安全聚合方案，使用户能够根据其可用带宽和传输速率独立选择量化级别。
• 在不损害用户隐私或通信效率的前提下，将拜占庭鲁棒性集成到安全聚合框架中。
• 在非拜占庭环境下，为异构量化下的所提方案建立理论收敛性保证。
• 通过支持用户粒度的自适应量化，降低现有安全聚合协议的带宽扩展。

提出的方法

• 根据通信能力将用户分组，每组对模型更新执行协同的、分段聚合。
• 在传输前，通过成对随机密钥对每个用户的量化模型更新段应用加法掩码，以确保隐私。
• 采用分组策略，每组在其段上执行安全聚合，服务器通过协同解码重建完整模型聚合。
• 集成逐坐标中位数作为鲁棒聚合规则，以过滤恶意用户发出的更新，同时保持隐私。
• 设计一种协议，使低带宽组的用户使用粗粒度量化，而高带宽用户使用细粒度量化，从而优化准确率-通信权衡。
• 通过分析量化噪声对梯度更新的影响，证明算法在异构量化下的收敛性。

实验结果

研究问题

• RQ1 是否可以在允许用户根据其个体通信资源使用不同量化级别的情况下，实现安全聚合？
• RQ2 与同质量化相比，异构量化对联邦学习的收敛性和测试准确率有何影响？
• RQ3 在异构量化设置下，能否同时实现安全聚合与拜占庭鲁棒性？
• RQ4 用户分组与分段聚合对通信效率和模型准确率的影响如何？
• RQ5 在不同网络条件下，HeteroSAg 的带宽扩展与最先进的安全聚合协议相比如何？

主要发现

• 在 MNIST 数据集上，HeteroSAg 配合异构量化实现的测试准确率接近非量化基线（FedAvg），同时将总通信时间减少了 5.2 倍。
• 与 K=2 级别的同质量化相比，HeteroSAg 配合异构量化在保持相同通信时间的前提下，将测试准确率提升了超过 15%。
• 该方案在三种攻击类型（高斯攻击、符号翻转攻击、标签翻转攻击）下均实现了拜占庭鲁棒性，性能几乎与无攻击情况相当，而 FedAvg 在相同攻击下完全失效。
• HeteroSAg 同时实现了隐私保护与拜占庭鲁棒性，而 SecAg 仅支持隐私保护，坐标中位数方法仅支持鲁棒性。
• 该协议通过支持用户粒度的自适应量化，降低了最先进安全聚合协议的带宽扩展，从而改善了准确率-通信权衡。
• 在非拜占庭场景下，HeteroSAg 的收敛性在理论上得到保证，验证了其稳定性。