[论文解读] Secure Aggregation for Buffered Asynchronous Federated Learning

Jinhyun So, Ramy E. Ali+2 more|arXiv (Cornell University)|Oct 5, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 14

一句话总结

该论文提出BASecAgg，一种无需可信执行环境（TEE）的缓冲异步联邦学习协议，可在不依赖可信执行环境的情况下实现安全聚合。通过设计在不同训练轮次间可相互抵消的轮次鲁棒掩码，BASecAgg实现了与FedBuff——其依赖TEE的对应方案——几乎相同的收敛性能，同时支持任意缓冲区大小，并通过有限域中的量化掩蔽技术保护用户隐私。

ABSTRACT

Federated learning (FL) typically relies on synchronous training, which is slow due to stragglers. While asynchronous training handles stragglers efficiently, it does not ensure privacy due to the incompatibility with the secure aggregation protocols. A buffered asynchronous training protocol known as FedBuff has been proposed recently which bridges the gap between synchronous and asynchronous training to mitigate stragglers and to also ensure privacy simultaneously. FedBuff allows the users to send their updates asynchronously while ensuring privacy by storing the updates in a trusted execution environment (TEE) enabled private buffer. TEEs, however, have limited memory which limits the buffer size. Motivated by this limitation, we develop a buffered asynchronous secure aggregation (BASecAgg) protocol that does not rely on TEEs. The conventional secure aggregation protocols cannot be applied in the buffered asynchronous setting since the buffer may have local models corresponding to different rounds and hence the masks that the users use to protect their models may not cancel out. BASecAgg addresses this challenge by carefully designing the masks such that they cancel out even if they correspond to different rounds. Our convergence analysis and experiments show that BASecAgg almost has the same convergence guarantees as FedBuff without relying on TEEs.

研究动机与目标

• 解决缓冲异步联邦学习中依赖TEE的安全聚合的局限性，其中有限内存限制了缓冲区大小。
• 克服传统安全聚合协议与异步更新不兼容的问题，因为轮次掩码不匹配。
• 设计一种不依赖可信硬件的安全聚合协议，以支持可扩展且高效的异步联邦学习。
• 在量化和延迟度影响下确保收敛性保证，这对实际联邦学习系统中的部署至关重要。
• 证明所提出的协议在消除TEE并引入量化噪声的情况下，性能仍可与FedBuff相媲美。

提出的方法

• 通过重新定义掩码设计以确保在不同训练轮次间实现抵消，将LightSecAgg协议适配至缓冲异步联邦学习场景。
• 使用量化对本地模型更新进行有限域变换以保护隐私，数值映射至素数域 $ q = 2^{32} - 5 $。
• 设计一个量化延迟补偿函数 $ s_{\text{quant}}(\tau) $，使其行为与FedBuff中的实值延迟函数一致，从而保持收敛性。
• 应用随机舍入和模运算，将实值梯度映射至有限域，通过最优参数调优最小化量化误差。
• 采用一次性掩码重构机制，无需重构单个被丢弃用户掩码即可高效计算聚合结果，提升可扩展性。
• 集成基于延迟度的加权函数（常数或多项式 $ (1+\tau)^{-\beta} $），以减轻异步环境中延迟更新的影响。

实验结果

研究问题

• RQ1 能否在不依赖可信执行环境（TEEs）或可信第三方的情况下，在缓冲异步联邦学习设置中实现安全聚合？
• RQ2 如何设计掩码，使其在异步缓冲中不同训练轮次间实现抵消，从而在轮次不匹配的情况下仍能实现安全聚合？
• RQ3 量化对缓冲异步联邦学习中收敛性的影响是什么？是否可通过方法缓解以保持模型精度？
• RQ4 所提出的无TEE协议的收敛性能与最先进的基于TEE的解决方案FedBuff相比如何？
• RQ5 在有限域运算中，何种量化级别能最优平衡舍入误差与回绕误差？

主要发现

• BASecAgg在MNIST和CIFAR-10数据集上实现了与FedBuff几乎相同的收敛性能，仅因量化噪声导致可忽略的性能下降。
• BASecAgg的收敛速率与FedBuff相当，仅多出一个可忽略的方差项 $ \frac{d}{4c_l^2} $，当 $ c_l $ 较大时该项可忽略，实验已验证此结论。
• 当 $ c_l = 2^{16} $ 时，BASecAgg实现最优性能，自动调优分析表明此时舍入与回绕量化误差达到最佳平衡。
• 该协议在不同延迟水平下保持鲁棒性，多项式加权函数 $ s_\alpha(\tau) = (1+\tau)^{-\alpha} $ 有效缓解了延迟影响。
• 实验表明，即使存在量化，BASecAgg的性能仍可与FedBuff相媲美，证明隐私保护的有限域操作不会显著降低模型精度。
• 该协议支持任意缓冲区大小，克服了限制FedBuff可扩展性的TEE内存瓶颈。