[论文解读] Secure Byzantine-Robust Distributed Learning via Clustering

Raj Kiriti Velicheti, Derek Xia+1 more|arXiv (Cornell University)|Oct 6, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用 7

一句话总结

本文提出 SHARE，一种新颖的联邦学习框架，通过分层聚类机制，同时确保拜占庭鲁棒性与客户端更新隐私：首先在随机聚类内执行安全平均以隐藏个体更新，随后在服务器端进行鲁棒聚合。该方法同时实现强隐私保护与鲁棒性，在非独立同分布（non-IID）数据及多种攻击类型（包括标签翻转攻击与帝国崩塌攻击）下优于现有方法。

ABSTRACT

Federated learning systems that jointly preserve Byzantine robustness and privacy have remained an open problem. Robust aggregation, the standard defense for Byzantine attacks, generally requires server access to individual updates or nonlinear computation -- thus is incompatible with privacy-preserving methods such as secure aggregation via multiparty computation. To this end, we propose SHARE (Secure Hierarchical Robust Aggregation), a distributed learning framework designed to cryptographically preserve client update privacy and robustness to Byzantine adversaries simultaneously. The key idea is to incorporate secure averaging among randomly clustered clients before filtering malicious updates through robust aggregation. Experiments show that SHARE has similar robustness guarantees as existing techniques while enhancing privacy.

研究动机与目标

• 解决联邦学习中拜占庭鲁棒性与客户端隐私之间的根本性矛盾。
• 克服非线性鲁棒聚合方法与隐私保护技术（如安全多方计算，MPC）之间的不兼容性。
• 设计一种可扩展的单服务器架构，支持隐私与鲁棒性，且无需修改现有鲁棒聚合或安全聚合协议。
• 实现在异构数据与存在恶意客户端的真实系统中，安全且鲁棒的联邦学习的实用化部署。
• 证明分层聚类可提升非独立同分布数据分布及协同攻击下的鲁棒性，同时通过聚类内安全平均保护隐私。

提出的方法

• 在每个全局训练轮次开始时，将客户端随机聚类为固定大小的组。
• 在每个聚类内应用安全平均预言机（例如基于秘密共享或加法同态加密）计算客户端更新的平均值，而无需暴露个体更新。
• 仅将聚类平均更新发送至中央服务器，确保单个客户端贡献保持私密。
• 在聚类平均更新上应用鲁棒聚合方法（如截断均值、Krum、中位数或 Zeno++）以过滤恶意或损坏的信号。
• 在多个重新聚类轮次中重复聚类与平均过程，以降低方差并提升对恶意行为的鲁棒性。
• 采用分层设计，将隐私（通过聚类内 MPC 实现）与鲁棒性（通过聚类间鲁棒聚合实现）解耦，从而与现有协议保持兼容。

实验结果

研究问题

• RQ1 联邦学习系统能否同时实现强拜占庭鲁棒性与客户端更新的端到端隐私？
• RQ2 结合安全平均的分层聚类是否能提升在非独立同分布数据分布与协同攻击下的鲁棒性？
• RQ3 重新聚类轮次的数量如何影响在恶意客户端行为下的鲁棒聚合性能与稳定性？
• RQ4 现有鲁棒聚合方法能否通过聚类有效结合安全平均，而不牺牲隐私或效率？
• RQ5 在真实攻击场景（如标签翻转与帝国崩塌攻击）下，该框架在不同污染水平下的表现如何？

主要发现

• 在非独立同分布数据分布下，SHARE 显著提升鲁棒性，而基线防御方法（如中位数与 Krum）在该场景下失效，尤其随着重新聚类轮次增加而表现更优。
• 在 50 个客户端、每个客户端 2 个标签的设置下，使用中位数或 Krum 的 SHARE 优于非重新聚类基线，测试误差更低，方差更小，且随着重新聚类轮次增加而持续改善。
• 在 β = -10、q = 3 个恶意客户端的帝国崩塌攻击下，SHARE 即使在高污染水平下仍保持高准确率，优于固定聚类与非重新聚类基线。
• 在 q = 12 个恶意客户端的标签翻转攻击下，使用截断均值与 Zeno++ 的 SHARE 在准确率上优于非重新聚类变体，展现出更强的抗干扰能力。
• 重新聚类在所有攻击类型下均提升性能，其中 Zeno++ 在高污染水平下表现尤为稳定，且效果随重新聚类轮次增加而更加显著。
• 固定聚类性能劣于动态重新聚类，后者可降低良性客户端持续与恶意客户端分组的风险，从而改善信号恢复与模型收敛。