[论文解读] Optimal Statistical Rates for Decentralised Non-Parametric Regression with Linear Speed-Up

Dominic Richards, Patrick Rebeschini|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文建立了使用分布式梯度下降进行去中心化非参数回归的最优统计速率，表明在每个代理拥有足够数据的前提下，该方法在通信延迟较低时可实现运行时间的线性加速——与集中式性能相当。关键洞见在于，统计集中性使得在大数据环境下，迭代次数与网络拓扑结构无关，这与以往的去中心化方法不同。

ABSTRACT

We analyse the learning performance of Distributed Gradient Descent in the context of multi-agent decentralised non-parametric regression with the square loss function when i.i.d. samples are assigned to agents. We show that if agents hold sufficiently many samples with respect to the network size, then Distributed Gradient Descent achieves optimal statistical rates with a number of iterations that scales, up to a threshold, with the inverse of the spectral gap of the gossip matrix divided by the number of samples owned by each agent raised to a problem-dependent power. The presence of the threshold comes from statistics. It encodes the existence of a big data regime where the number of required iterations does not depend on the network topology. In this regime, Distributed Gradient Descent achieves optimal statistical rates with the same order of iterations as gradient descent run with all the samples in the network. Provided the communication delay is sufficiently small, the distributed protocol yields a linear speed-up in runtime compared to the single-machine protocol. This is in contrast to decentralised optimisation algorithms that do not exploit statistics and only yield a linear speed-up in graphs where the spectral gap is bounded away from zero. Our results exploit the statistical concentration of quantities held by agents and shed new light on the interplay between statistics and communication in decentralised methods. Bounds are given in the standard non-parametric setting with source/capacity assumptions.

研究动机与目标

• 分析分布式梯度下降在去中心化非参数回归中的统计效率与通信效率。
• 识别去中心化学习实现与集中式学习相同迭代复杂度的条件。
• 刻画每个代理的数据量与网络拓扑结构在收敛速率中的作用。
• 建立一个大数据环境，使得迭代次数与gossip矩阵的谱间隙无关。

提出的方法

• 在具有独立同分布样本分配给各代理的多代理去中心化设置中，使用带有平方损失的分布式梯度下降。
• 通过代理持有的量的统计集中性及其与gossip矩阵的相互作用来分析收敛性。
• 推导出迭代复杂度与谱间隙的倒数除以每个代理样本数的某个问题相关幂次的缩放关系。
• 引入一个阈值，定义一个“大数据环境”，在此环境下网络拓扑不再影响迭代次数。
• 采用标准的非参数假设，包括源条件和容量条件，以限制估计误差。
• 证明在通信延迟足够低时，分布式协议相较于单机学习实现了运行时间的线性加速。

实验结果

研究问题

• RQ1 在何种条件下，分布式梯度下降能在去中心化非参数回归中实现最优统计速率？
• RQ2 所需迭代次数如何随网络拓扑结构和每个代理的数据量而变化？
• RQ3 是否存在一个大数据环境，使得收敛性与gossip矩阵的谱间隙无关？
• RQ4 去中心化方法是否能在不依赖谱间隙远离零的条件下，实现运行时间的线性加速？
• RQ5 代理持有的数据的统计集中性如何影响去中心化学习中的通信效率？

主要发现

• 当每个代理持有的样本数相对于网络规模足够多时，分布式梯度下降可实现最优统计速率。
• 在大数据环境中，所需迭代次数与网络的谱间隙无关，与集中式学习一致。
• 迭代复杂度按谱间隙的倒数除以每个代理样本数的某个问题相关幂次缩放，直至达到一个阈值。
• 在通信延迟足够低时，分布式协议相较于单机学习实现了运行时间的线性加速。
• 结果揭示了统计集中性与去中心化方法中通信效率之间的基本相互作用。
• 分析证实，在有利的数据和通信条件下，去中心化算法可在迭代次数上与集中式性能相当。