[论文解读] Towards Byzantine-resilient Learning in Decentralized Systems

Shangwei Guo, Tianwei Zhang+4 more|arXiv (Cornell University)|Feb 20, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 12

一句话总结

本文提出 Mozi，一种新颖的拜占庭容错聚合算法，用于去中心化联邦学习，使良性节点能够在任意数量的拜占庭故障下持续过滤恶意更新，并收敛到正确模型。Mozi 确保均匀收敛，并在实验中展现出强安全性和高效性，优于现有方案。

ABSTRACT

With the proliferation of IoT and edge computing, decentralized learning is becoming more promising. When designing a distributed learning system, one major challenge to consider is Byzantine Fault Tolerance (BFT). Past works have researched Byzantine-resilient solutions for centralized distributed learning. However, there are currently no satisfactory solutions with strong efficiency and security in decentralized systems. In this paper, we propose a novel algorithm, Mozi, to achieve BFT in decentralized learning systems. Specifically, Mozi provides a uniform Byzantine-resilient aggregation rule for benign nodes to select the useful parameter updates and filter out the malicious ones in each training iteration. It guarantees that each benign node in a decentralized system can train a correct model under very strong Byzantine attacks with an arbitrary number of faulty nodes. We perform the theoretical analysis to prove the uniform convergence of our proposed algorithm. Experimental evaluations demonstrate the high security and efficiency of Mozi compared to all existing solutions.

研究动机与目标

• 解决去中心化学习系统中高效且安全的拜占庭容错（BFT）方案缺乏的问题。
• 设计一种统一的聚合规则，使良性节点能够在每次训练迭代中识别并拒绝恶意参数更新。
• 在强拜占庭攻击下，即使存在任意数量的故障节点，也保证正确模型训练。
• 在去中心化环境中，理论上证明所提出算法的均匀收敛性。

提出的方法

• Mozi 引入一种统一的拜占庭容错聚合规则，可在每个良性节点上独立运行，无需中心协调器。
• 该算法使每个良性节点能够基于参数更新的一致性和统计特性，评估并过滤恶意更新。
• 其利用一种鲁棒的聚合机制，即使在对抗性输入下也能保持模型准确性。
• 该方法通过拒绝异常值和恶意更新，确保良性节点集体收敛到正确模型。
• 理论分析在强拜占庭条件下（包括任意数量故障节点）建立了均匀收敛性。
• 该方法设计为通信和计算高效，适用于物联网和边缘计算环境。

实验结果

研究问题

• RQ1 去中心化学习系统是否能在任意数量故障节点下，实现具有强安全保证的拜占庭容错？
• RQ2 良性节点如何在不依赖中心权威的情况下，统一检测并过滤恶意更新？
• RQ3 何种聚合规则可确保在拜占庭行为下模型的均匀收敛？
• RQ4 与现有集中式和去中心化 BFT 解决方案相比，该方法在效率和安全性方面表现如何？
• RQ5 该算法是否能在真实去中心化系统中强对抗条件下保持高模型准确性？

主要发现

• Mozi 在任意拜占庭故障下，确保所有良性节点实现模型的均匀收敛，即使存在大量恶意节点，也能保证正确学习。
• 该算法通过在每次训练迭代中有效过滤恶意参数更新，展现出高安全性。
• 实验评估表明，Mozi 在安全性和训练效率方面均优于现有方案。
• Mozi 在强对抗条件下仍能保持模型准确性和收敛速度，证实其鲁棒性。
• 该方法通信和计算高效，适用于资源受限的物联网和边缘环境。
• 理论分析证实，Mozi 在强拜占庭攻击模型下可保证正确模型训练。