[论文解读] Randomized Reactive Redundancy for Byzantine Fault-Tolerance in Parallelized Learning

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Dec 19, 2019

Stochastic Gradient Optimization Techniques参考文献 21被引用 5

一句话总结

本文提出了一种针对并行化随机梯度下降（SGD）中拜占庭容错的随机反应冗余方案，即使存在最多 $ f < n/2 $ 个拜占庭工作者，也能实现对最小值点的精确收敛。通过间歇性应用故障检测编码，并基于损失和可靠性度量自适应地检查故障，该方法在确保鲁棒性和收敛性的同时，实现了最优的期望计算效率。

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in synchronous parallelized learning that is founded on the parallelized stochastic gradient descent (parallelized-SGD) algorithm. The system comprises a master, and $n$ workers, where up to $f$ of the workers are Byzantine faulty. Byzantine workers need not follow the master's instructions correctly, and might send malicious incorrect (or faulty) information. The identity of the Byzantine workers remains fixed throughout the learning process, and is unknown a priori to the master. We propose two coding schemes, a deterministic scheme and a randomized scheme, for guaranteeing exact fault-tolerance if $2f &lt; n$. The coding schemes use the concept of reactive redundancy for isolating Byzantine workers that eventually send faulty information. We note that the computation efficiencies of the schemes compare favorably with other (deterministic or randomized) coding schemes, for exact fault-tolerance.

研究动机与目标

• 解决并行化SGD对可能发送恶意梯度的拜占庭工作者的脆弱性问题。
• 设计一种容错学习框架，即使最多 $ f < n/2 $ 个工作者为拜占庭节点，也能保证精确收敛至最小值点。
• 在分布式学习环境中，相较于现有基于编码的容错方案，提升计算效率。
• 通过自适应的随机检查，优化故障检测成本与学习收敛速率之间的权衡。

提出的方法

• 提出一种确定性编码方案，通过梯度符号中的冗余检测故障，并利用线性组合识别拜占庭工作者。
• 提出一种随机方案，仅在随机选择的迭代中应用故障检测编码，从而降低计算开销。
• 基于观测到的损失 $ \ell_t $、估计的可靠性 $ \kappa_t $ 和拜占庭概率 $ p $，采用自适应故障检查概率 $ q_t^* $，以平衡效率与故障检测能力。
• 使用概率模型计算最优故障检查频率，以最小化期望计算成本，同时保持收敛性。
• 与梯度过滤技术及通信高效压缩技术集成，提升在分布式学习中的广泛适用性。
• 通过支持基于可靠性评分的选择性验证梯度和数据点，实现向分布式数据场景的泛化。

实验结果

研究问题

• RQ1 随机反应冗余机制能否在并行化SGD中实现精确的拜占庭容错，且计算效率高于确定性方案？
• RQ2 如何自适应地优化故障检查频率，以平衡检测准确率与计算成本？
• RQ3 在存在拜占庭工作者的情况下，故障检测开销与收敛速率之间的最优权衡是什么？
• RQ4 该方案能否推广至支持压缩梯度和分布式数据划分？
• RQ5 在效率和鲁棒性方面，该随机方案相较于确定性编码和现有梯度过滤方法表现如何？

主要发现

• 随机编码方案实现了最优的期望计算效率，优于确定性方案和现有纠错编码。
• 当 $ 2f < n $ 时，该方法确保精确容错，即使存在拜占庭行为，也能保证收敛至最小值点。
• 基于损失和可靠性度量的自适应故障检查减少了不必要的检查，提高了效率，且不损害收敛性。
• 即使主节点使用来自潜在故障工作者的近似损失值，该方案仍能通过截断或截尾均值估计保持鲁棒性。
• 与梯度过滤和通信高效压缩技术的集成，使得该方案可在现实世界分布式学习系统中更广泛部署。
• 向分布式数据框架的泛化是可行的，主节点可利用可靠性评分和随机检查选择性验证数据点。