[论文解读] Nonlinear Acceleration of Stochastic Algorithms

Damien Scieur, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Jun 22, 2017

Stochastic Gradient Optimization Techniques被引用 17

一句话总结

本文提出了一种用于随机优化算法的非线性加速技术，通过使用过去迭代点的线性组合对随机梯度方法的迭代点进行外推，实现更快的收敛速度，且无需了解强凸性参数。该方法在多个数据集上显著提升了SGD、SAGA、SVRG和Katyusha的性能，既展示了理论收敛界，又在训练损失和测试准确率方面取得了实际提升。

ABSTRACT

Extrapolation methods use the last few iterates of an optimization algorithm to produce a better estimate of the optimum. They were shown to achieve optimal convergence rates in a deterministic setting using simple gradient iterates. Here, we study extrapolation methods in a stochastic setting, where the iterates are produced by either a simple or an accelerated stochastic gradient algorithm. We first derive convergence bounds for arbitrary, potentially biased perturbations, then produce asymptotic bounds using the ratio between the variance of the noise and the accuracy of the current point. Finally, we apply this acceleration technique to stochastic algorithms such as SGD, SAGA, SVRG and Katyusha in different settings, and show significant performance gains.

研究动机与目标

• 将此前在确定性设置中有效的非线性外推技术扩展至具有噪声梯度的随机优化。
• 在任意、可能具有偏差的扰动下分析收敛界，包括梯度估计中的随机噪声。
• 基于噪声方差与当前迭代点精度之比，推导渐近收敛速率。
• 在多种数据集和设置下，通过实证验证该加速方法在SGD、SAGA、SVRG和Katyusha等随机算法上的有效性。

提出的方法

• 该方法将非线性外推应用于由随机一阶预言机更新生成的迭代点，通过过去迭代点的线性组合，生成对最优解更精确的估计。
• 通过将Scieur等人（2016）提出的确定性非线性加速框架推广至处理随机扰动，将迭代点建模为最优解附近线性化系统的一个受扰版本。
• 通过跟踪真实梯度流与受扰迭代点之间的差异，利用控制理论和多项式外推工具推导收敛界。
• 线性组合的系数通过基于最小化线性化模型中残差误差的数据驱动方法计算得出。
• 理论分析包括有限样本界和依赖于噪声与精度比的渐近收敛速率。
• 该方法被应用于多种随机算法，包括SGD、SAGA、SVRG和Katyusha，并在图像分类和表格数据集上进行了实证评估。

实验结果

研究问题

• RQ1 在确定性优化中有效的非线性外推技术，能否成功扩展至具有噪声梯度的随机一阶方法？
• RQ2 在随机设置中，面对任意、可能具有偏差的扰动，非线性加速的收敛界是什么？
• RQ3 外推迭代点的渐近收敛速率如何依赖于噪声方差与当前迭代点精度之比？
• RQ4 非线性加速在多大程度上提升了SGD、SAGA、SVRG和Katyusha等随机算法的实际性能？
• RQ5 该外推方法能否用于加速深度学习中的学习率衰减策略，同时不损害收敛性？

主要发现

• 该非线性加速方法在无需事先知晓强凸性参数的情况下，实现了与加速确定性方法相当的渐近收敛速率。
• 实证结果表明，在CIFAR-10和CIFAR-100数据集上的ResNet架构中，该方法显著降低了训练损失并提升了测试准确率。
• 外推迭代点使得可以更早地进行学习率衰减，作为重启策略时，能改善泛化性能并减少训练时间。
• 在Sonar、Madelon、Random和Sido0等表格数据集上，该方法在不同条件水平下均一致优于基线随机算法。
• 该加速方法在多种随机算法（包括SAGA、SVRG和Katyusha）上均有效，展现出广泛的适用性。
• 理论分析证实，收敛速率依赖于噪声方差与当前迭代点到最优解距离的比值，验证了渐近行为。