[论文解读] Trading-off variance and complexity in stochastic gradient descent

Vatsal Shah, Megasthenis Asteris+2 more|arXiv (Cornell University)|Mar 22, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用 8

一句话总结

该论文提出 CheapSVRG，一种随机方差缩减优化方法，用在小数据子集上估计的计算成本更低的代理梯度替代 SVRG 中的完整梯度计算。通过在每轮迭代的复杂度与收敛速度之间进行权衡，CheapSVRG 实现了线性收敛，收敛至一个与问题相关的误差下限，其性能优于原始 SGD，且与 SVRG 相当，同时显著降低了每轮的计算成本。

ABSTRACT

Stochastic gradient descent is the method of choice for large-scale machine learning problems, by virtue of its light complexity per iteration. However, it lags behind its non-stochastic counterparts with respect to the convergence rate, due to high variance introduced by the stochastic updates. The popular Stochastic Variance-Reduced Gradient (SVRG) method mitigates this shortcoming, introducing a new update rule which requires infrequent passes over the entire input dataset to compute the full-gradient. In this work, we propose CheapSVRG, a stochastic variance-reduction optimization scheme. Our algorithm is similar to SVRG but instead of the full gradient, it uses a surrogate which can be efficiently computed on a small subset of the input data. It achieves a linear convergence rate ---up to some error level, depending on the nature of the optimization problem---and features a trade-off between the computational complexity and the convergence rate. Empirical evaluation shows that CheapSVRG performs at least competitively compared to the state of the art.

研究动机与目标

• 为解决大型机器学习中类似 SVRG 的方差缩减方法因完整梯度计算带来的高每轮迭代成本问题。
• 设计一种随机优化方案，通过用高效代理替代完整梯度，实现计算复杂度与收敛速率之间的平衡。
• 为平滑、凸性、可分优化问题提供线性收敛的理论保证。
• 通过实证验证，证明 CheapSVRG 在计算开销显著降低的情况下，性能仍可与最先进方法相媲美。

提出的方法

• CheapSVRG 将优化过程划分为多个轮次，类似于 SVRG，但在每个轮次开始时，仅使用一个固定大小的小型数据子集来计算代理完整梯度。
• 在每个轮次内，通过结合代理梯度与单个数据点的随机梯度，采用改进的更新规则执行随机梯度步骤。
• 该方法引入一个可调参数 'perc'，用于控制在外部（代理）和内部（随机）循环之间分配梯度计算预算的比例。
• 代理梯度通过在大小为 s 的随机子集上计算梯度平均值得到，将完整梯度估计的成本从 O(n) 降低至 O(s)。
• 通过确保代理梯度是真实完整梯度的有偏但受控的估计，该方法保持了收敛性保证。
• 步长根据个体函数的利普希茨常数自适应设置，遵循 SVRG 及相关方法中的既定实践。

实验结果

研究问题

• RQ1 能否在小数据子集上计算的代理梯度替代 SVRG 中的完整梯度，同时保持线性收敛？
• RQ2 代理梯度大小与收敛速度之间的权衡如何影响方差缩减随机优化的性能？
• RQ3 CheapSVRG 是否在保持更低每轮计算复杂度的同时，实现比原始 SGD 更快的收敛速度？
• RQ4 CheapSVRG 对代理梯度大小和外部与内部循环之间预算分配的选择有多敏感？
• RQ5 在大规模设置下，CheapSVRG 是否能以显著降低的计算成本，实现与 SVRG 相当的性能？

主要发现

• CheapSVRG 在期望下实现线性收敛，收敛至最优解的常数邻域内，具体取决于问题结构和代理质量。
• 实证结果表明，CheapSVRG 在合成数据集和真实世界数据集（包括线性回归和 ℓ₂-正则化逻辑回归）上的表现至少与 SVRG 相当。
• 对于 ℓ₂-正则化逻辑回归，当 s=1 或 s=10 时，CheapSVRG 即使在代理计算极少的情况下，也能持续向解逼近，同时显著降低每轮复杂度。
• 该方法对预算分配参数 'perc' 敏感；当 90% 的预算分配给内部循环时，CheapSVRG 会发散，而 SVRG 不会出现此问题。
• 在无噪声和低噪声设置下，CheapSVRG 的收敛速度优于原始 SGD，且每轮计算成本更低，性能与 SVRG 相当或更优。
• 即使代理梯度是有偏估计，该算法仍能保持收敛，表明其对梯度代理中近似误差具有鲁棒性。