[论文解读] Parallelizing Stochastic Approximation Through Mini-Batching and Tail-Averaging.

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 12, 2016

Stochastic Gradient Optimization Techniques参考文献 4被引用 13

一句话总结

本文首次为最小二乘回归中的小批量和尾部平均随机梯度下降（SGD）提供了紧致的非渐近泛化误差界。它通过小批量实现了可证明的近线性加速，并提出了一种高度可并行化的SGD变体，在极少的串行更新下即可达到最优统计误差，同时揭示了在对抗性噪声设置下，最优步长依赖于噪声特性。

ABSTRACT

This work characterizes the benefits of averaging techniques widely used in conjunction with stochastic gradient descent (SGD). In particular, this work sharply analyzes: (1) mini-batching, a method of averaging many samples of the gradient to both reduce the variance of a stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD in order to decrease the variance in SGD’s final iterate. This work presents the first tight non-asymptotic generalization error bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batching can be used to yield provable near-linear parallelization speedups over SGD with batch size one. These results are utilized in providing a highly parallelizable SGD algorithm that obtains the optimal statistical error rate with nearly the same number of serial updates as batch gradient descent, which improves significantly over existing SGD-style methods. Finally, this work sheds light on some fundamental differences in SGD’s behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure optimal statistical error rates for the agnostic case must be a function of the noise properties. The central analysis tools used by this paper are obtained through generalizing the operator view of averaged SGD, introduced by Defossez and Bach (2015) followed by developing a novel analysis in bounding these operators to characterize the generalization error. These techniques may be of broader interest in analyzing various computational aspects of stochastic approximation.

研究动机与目标

• 刻画小批量和尾部平均在减少方差和促进随机逼近中并行化方面的优势。
• 在最小二乘回归背景下，建立这些技术的非渐近泛化误差界。
• 确定小批量在多大程度上能实现相对于标准SGD（批量大小为1）的可证明近线性加速。
• 设计一种高度可并行化的SGD算法，使其在极少串行计算下达到最优统计误差。
• 理解对抗性噪声对SGD收敛的影响，并识别依赖于噪声特性的最优步长。

提出的方法

• 将Defossez和Bach（2015）最初提出的平均SGD算子视角推广至小批量和尾部平均SGD的动力学分析。
• 开发了一种新颖的算子界技术，以刻画在独立和依赖数据设置下平均SGD的泛化误差。
• 利用算子理论工具分析小批量和尾部平均的收敛性和方差减少特性。
• 推导出在保持收敛率的同时，小批量可扩展程度的问题相关界，从而实现近线性加速。
• 提出一种新的算法框架，结合小批量和尾部平均，以在减少串行更新次数的同时实现最优统计误差。
• 通过推导依赖于噪声特性的步长调度，分析对抗性噪声对SGD的影响，以确保最优误差率。

实验结果

研究问题

• RQ1 在不牺牲收敛率的前提下，小批量在多大程度上可用于实现随机逼近中的可证明近线性加速？
• RQ2 尾部平均与小批量如何共同影响最小二乘回归中的泛化误差？
• RQ3 在对抗性噪声存在时，SGD的最优步长调度是什么？其如何依赖于噪声特性？
• RQ4 能否设计一种高度可并行化的SGD变体，使其在几乎与批量梯度下降相同数量的串行更新下，达到最优统计误差率？
• RQ5 本工作中开发的算子理论工具如何实现对平均SGD方案更紧致的泛化误差界刻画？

主要发现

• 本文首次为最小二乘回归中的小批量和尾部平均SGD建立了紧致的非渐近泛化误差界。
• 证明了在问题相关条件下，小批量可在标准SGD（批量大小为1）的基础上实现可证明的近线性加速。
• 提出了一种新的高度可并行化SGD算法，在串行更新次数与批量梯度下降相近的情况下，实现了最优统计误差率。
• 分析表明，在对抗性噪声设置下，最优步长必须根据噪声特性显式调整，才能实现最佳泛化性能。
• 所提出的基于算子的分析框架比先前方法更精确地刻画了泛化误差，尤其适用于平均SGD变体。
• 结果表明，尾部平均能显著降低最终SGD迭代点的方差，从而在非可实现设置下提升泛化性能。