[论文解读] Robust Gradient Descent via Moment Encoding with LDPC Codes

Raj Kumar Maity, Ankit Singh Rawat+1 more|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques参考文献 35被引用 34

一句话总结

本文提出了一种用于分布式机器学习的新型鲁棒梯度下降方法，通过使用低密度奇偶校验（LDPC）码对数据的二阶矩进行编码，以缓解慢速工作者（straggler）的影响。通过利用自适应慢速工作者数量的迭代LDPC译码，该方法在收敛速度和计算时间方面优于现有方案，并在随机梯度下降框架下提供了理论收敛保证。

ABSTRACT

This paper considers the problem of implementing large-scale gradient descent algorithms in a distributed computing setting in the presence of {\em straggling} processors. To mitigate the effect of the stragglers, it has been previously proposed to encode the data with an erasure-correcting code and decode at the master server at the end of the computation. We, instead, propose to encode the second-moment of the data with a low density parity-check (LDPC) code. The iterative decoding algorithms for LDPC codes have very low computational overhead and the number of decoding iterations can be made to automatically adjust with the number of stragglers in the system. We show that for a random model for stragglers, the proposed moment encoding based gradient descent method can be viewed as the stochastic gradient descent method. This allows us to obtain convergence guarantees for the proposed solution. Furthermore, the proposed moment encoding based method is shown to outperform the existing schemes in a real distributed computing setup.

研究动机与目标

• 解决大规模机器学习系统中因慢速工作者导致的分布式梯度下降性能下降问题。
• 开发一种低开销、可扩展的方法，即使在工作者响应时间不一致的情况下也能加速收敛。
• 在随机梯度下降框架下，为所提方法提供理论收敛保证。
• 在真实分布式计算环境中，性能优于现有的数据编码和复制方案。
• 在保持对慢速工作者引起的延迟具有鲁棒性的同时，最小化计算和通信开销。

提出的方法

• 使用低密度奇偶校验（LDPC）码对训练数据的二阶矩（即协方差矩阵）进行编码，以实现鲁棒的梯度计算。
• 使用迭代译码算法对LDPC码进行译码，该算法能根据存在的慢速工作者数量动态调整译码迭代次数。
• 利用编码后的二阶矩形式化梯度下降更新，即使部分工作者未能响应，也能保证收敛。
• 将所得算法解释为在随机慢速工作者模型下的随机梯度下降形式，从而支持理论收敛性分析。
• 在真实分布式系统（麻省大学阿默斯特分校的swarm2）中实现该方案，使用mpi4py，并与MDS编码、复制和未编码方案进行比较。
• 实验中采用(40,20) LDPC码以及子采样的哈达玛/高斯矩阵进行数据编码。

实验结果

研究问题

• RQ1 通过LDPC码进行矩编码是否能有效减轻分布式梯度下降中慢速工作者的影响？
• RQ2 LDPC码的自适应译码在慢速工作者数量变化的情况下，如何影响收敛速度和鲁棒性？
• RQ3 在真实系统中，该方法是否在收敛性能和计算时间上优于基于MDS的编码和复制方案？
• RQ4 在何种条件下，矩编码可被解释为有效的随机梯度下降更新？
• RQ5 在实际分布式学习设置中，编码复杂度与收敛性能提升之间的权衡如何？

主要发现

• 在所有测试配置下，所提出的基于LDPC的矩编码方案在迭代次数上均少于基于MDS的编码、复制和未编码方案。
• 对于m=2048且k=800或1000的最小二乘问题，该方法在存在5或10名慢速工作者时，达到目标精度阈值所需步数显著更少。
• 在欠定稀疏恢复情形（m=1024, k=2000）下，该方案实现了更快的收敛速度和更低的总计算时间，优于基线方法。
• LDPC码的迭代译码能自然适应慢速工作者数量，从而在不牺牲收敛速度的前提下降低译码开销。
• 理论分析表明，该方法在随机慢速工作者模型下等价于随机梯度下降，从而可提供收敛性保证。
• 在由41个节点组成的实际集群（40个工作者，1个主控节点）上的实证结果表明，该方案在迭代次数和总计算时间上均优于基于MDS和复制的方法。