[论文解读] On Data Dependence in Distributed Stochastic Optimization

Avleen S. Bijral, Anand D. Sarwate+1 more|arXiv (Cornell University)|Mar 14, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用 9

一句话总结

本文分析了一种基于分布式共识的随机梯度下降算法，表明收敛速度取决于网络的谱隙和数据协方差矩阵的谱范数。研究证明，在谱范数较低的数据集上性能更优，并且在无限数据的渐近设置下，增加更多机器可提升性能，尤其适用于二阶可微的损失函数。

ABSTRACT

We study a distributed consensus-based stochastic gradient descent (SGD) algorithm and show that the rate of convergence involves the spectral properties of two matrices: the standard spectral gap of a weight matrix from the network topology and a new term depending on the spectral norm of the sample covariance matrix of the data. This data-dependent convergence rate shows that distributed SGD algorithms perform better on datasets with small spectral norm. Our analysis method also allows us to find data-dependent convergence rates as we limit the amount of communication. Spreading a fixed amount of data across more nodes slows convergence; for asymptotically growing data sets we show that adding more machines can help when minimizing twice-differentiable losses.

研究动机与目标

• 理解数据分布如何影响分布式随机优化中的收敛性。
• 分析去中心化SGD中通信成本与收敛速度之间的权衡。
• 表明数据相关因素——特别是数据协方差的谱范数——显著影响收敛速率。
• 研究在通信开销增加的情况下，增加更多机器何时能提升性能。
• 提供一个在低通信与高通信区间之间插值的数据相关收敛界。

提出的方法

• 采用分布式对偶平均框架，其中节点执行本地SGD步骤，并定期与邻居节点进行平均。
• 利用依赖于样本协方差矩阵谱范数和网络权重矩阵谱隙的边界来分析收敛性。
• 引入通信频率参数以建模间歇性通信，并推导出数据相关的收敛速率。
• 应用Bianchi等人（2012）关于迭代序列渐近正态性的结果，推导出极限次优性边界。
• 使用小批量训练以减轻通信不频繁对收敛性的负面影响。
• 推导出一个与海森逆矩阵的迹和梯度噪声协方差谱范数成比例的次优性边界。

实验结果

研究问题

• RQ1 数据协方差矩阵的谱范数如何影响分布式SGD中的收敛性？
• RQ2 在去中心化设置下，满足何种条件时增加机器数量可提升收敛性？
• RQ3 间歇性通信如何影响基于共识的SGD的收敛速率？
• RQ4 能否在通信受限条件下为分布式优化推导出数据相关边界？
• RQ5 在无限数据的渐近情形下，网络效应是否会消失？若会，需满足何种条件？

主要发现

• 收敛速率取决于网络权重矩阵的谱隙和数据协方差矩阵的谱范数。
• 在数据协方差矩阵谱范数较小的数据集上，分布式SGD表现更优。
• 对于有限数据和稀疏连接网络，将数据分散到更多节点会因通信距离增加而减缓收敛。
• 在无限数据的渐近情形下，对于二阶可微的损失函数，增加更多机器可提升性能。
• 小批量训练可通过降低梯度方差来抵消通信不频繁带来的负面影响。
• 极限次优性边界按如下形式缩放：$ \frac{25\rho L^{2}}{m} \cdot \operatorname{Tr}(\nabla^{2}J({\bf w}^{*})^{-1}) \cdot \frac{G}{\mu} $，其中 $ \rho $ 为数据协方差的谱范数。