[论文解读] Robust and Communication-Efficient Collaborative Learning

Amirhossein Reisizadeh, Hossein Taheri+3 more|arXiv (Cornell University)|Jul 24, 2019

Stochastic Gradient Optimization Techniques参考文献 67被引用 9

一句话总结

本文提出 QuanTimed-DSGD，一种去中心化随机梯度下降算法，通过基于截止时间的本地计算提升对慢速节点的鲁棒性，并通过模型量化提高通信效率。在凸设置下，该算法可精确收敛至全局最优解；在非凸设置下，可收敛至一阶驻点，且在 MNIST 和 CIFAR-10 上相比最先进方法，训练时间最高提升 3 倍。

ABSTRACT

We consider a decentralized learning problem, where a set of computing nodes aim at solving a non-convex optimization problem collaboratively. It is well-known that decentralized optimization schemes face two major system bottlenecks: stragglers' delay and communication overhead. In this paper, we tackle these bottlenecks by proposing a novel decentralized and gradient-based optimization algorithm named as QuanTimed-DSGD. Our algorithm stands on two main ideas: (i) we impose a deadline on the local gradient computations of each node at each iteration of the algorithm, and (ii) the nodes exchange quantized versions of their local models. The first idea robustifies to straggling nodes and the second alleviates communication efficiency. The key technical contribution of our work is to prove that with non-vanishing noises for quantization and stochastic gradients, the proposed method exactly converges to the global optimal for convex loss functions, and finds a first-order stationary point in non-convex scenarios. Our numerical evaluations of the QuanTimed-DSGD on training benchmark datasets, MNIST and CIFAR-10, demonstrate speedups of up to 3x in run-time, compared to state-of-the-art decentralized optimization methods.

研究动机与目标

• 解决去中心化协同学习中的两大主要系统瓶颈：慢速节点引起的延迟与高通信开销。
• 设计一种去中心化优化算法，在非消失的量化噪声与随机梯度噪声下仍保持收敛保证。
• 在凸与非凸优化设置下，实现更快的收敛速度与更高的运行时效率。
• 实现在带宽有限且节点不可靠的大规模分布式系统中的实际部署。

提出的方法

• 在每次迭代中，为每个节点的本地梯度计算设定固定截止时间 $T_d$，确保所有节点无论计算速度如何均同步推进。
• 通过节点间交换量化后的模型更新，降低大规模网络中的通信负载。
• 采用基于本地更新与基于一致性平均的去中心化随机梯度下降框架。
• 在标准网络拓扑、量化器与随机梯度假设下进行理论分析。
• 利用李雅普诺夫分析与误差分解，推导强凸与非凸损失函数下的收敛速率。
• 通过调整步长与参数，平衡收敛速度与一致性误差的衰减。

实验结果

研究问题

• RQ1 在非消失量化与随机梯度噪声下，去中心化优化算法是否能在凸设置中实现对全局最优解的精确收敛？
• RQ2 在系统级约束下，所提方法是否可在非凸优化中可证明收敛至一阶驻点？
• RQ3 基于截止时间的计算与模型量化相结合，如何影响收敛速度与通信效率？
• RQ4 该方法的理论收敛速率在迭代次数与系统参数方面如何表示？
• RQ5 该算法在真实世界基准数据集上是否展现出相对于现有去中心化方法的实际加速性能？

主要发现

• QuanTimed-DSGD 在强凸设置下可实现对全局最优解的精确收敛，收敛速率可任意接近 $\mathcal{O}(1/\sqrt{T})$。
• 在非凸设置下，该算法可证明收敛至一阶驻点，收敛速率为 $\mathcal{O}(T^{-1/3})$。
• 一致性误差的衰减速率与最优性间隙相同，确保在足够大的 $T$ 下实现精确收敛。
• 在 MNIST 与 CIFAR-10 上的数值评估显示，相比最先进去中心化优化方法，运行时间最高提升 3 倍。
• 通过在每次迭代中强制执行固定计算截止时间，该算法对慢速节点保持鲁棒性，消除了等待慢速节点的需要。
• 量化在不损害收敛性的同时降低了通信开销，使该算法在大规模密集网络中实现高效部署成为可能。