[论文解读] Zeno++: robust asynchronous SGD with arbitrary number of Byzantine workers.

Cong Xie|arXiv (Cornell University)|Mar 17, 2019

Distributed systems and fault tolerance参考文献 8被引用 8

一句话总结

Zeno++ 提出了一种鲁棒的异步SGD框架，在一般故障模型下可抵御任意数量的拜占庭式工作者。它利用梯度过滤和自适应一致性机制，确保在任意工作者行为下仍能收敛，即使在存在恶意或故障工作者的情况下也能实现稳定训练。

ABSTRACT

We propose Zeno++, a new robust asynchronous synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model with unbounded number of Byzantine workers.

研究动机与目标

• 解决在去中心化系统中训练深度神经网络的挑战，其中任意数量的工作者可能表现恶意或不可预测地失效。
• 设计一种异步SGD算法，在一般拜占庭式故障模型下仍能保持收敛性和鲁棒性。
• 实现在存在不可靠或恶意工作者的实际分布式学习系统中的实用化部署。

提出的方法

• Zeno++ 采用一种新颖的梯度过滤机制，可识别并抑制来自拜占庭式工作者的恶意或损坏梯度。
• 它使用一种自适应一致性协议，仅聚合可靠梯度，确保即使多达 n-1 个工作者为拜占庭式，也能实现收敛。
• 该算法根据工作者间梯度的一致性动态调整聚合权重，降低异常值的影响。
• 它支持完全异步，允许工作者在无需等待其他工作者的情况下更新参数，从而提高训练效率。
• 该框架集成了一种无需事先知晓故障工作者数量的拜占庭式容错聚合规则。
• 在标准随机优化假设下，即使存在无界拜占庭式行为，仍能保持收敛保证。

实验结果

研究问题

• RQ1 当存在无界数量的工作者表现出拜占庭式行为时，异步SGD能否维持收敛性和鲁棒性？
• RQ2 在事先不知晓故障工作者数量的情况下，如何实现可靠梯度聚合？
• RQ3 哪些机制可实现去中心化系统中任意工作者故障或恶意行为下的稳定训练？
• RQ4 Zeno++ 与现有拜占庭式容错SGD方法相比，在收敛速度和容错能力方面表现如何？

主要发现

• 在一般拜占庭式故障模型下，即使存在无界数量的故障工作者，Zeno++ 仍能收敛至驻点。
• 在实验中，当高达50%的工作者为拜占庭式时，该算法仍能保持高训练准确率和稳定性。
• 梯度过滤和自适应一致性显著降低了恶意更新的影响，维持了模型性能。
• 在对抗性条件下，Zeno++ 在收敛速度和鲁棒性方面均优于基线鲁棒SGD方法。
• 该框架可实现在存在不可靠或恶意工作者的实际分布式学习系统中的实用化部署。