[论文解读] Stochastic Optimization with Bandit Sampling

Farnood Salehi, L. Elisa Celis+1 more|arXiv (Cornell University)|Aug 8, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用 11

一句话总结

本文提出 MABS，一种基于多臂赌博机的采样方法，可自适应地为随机梯度下降选择数据点，以最小化梯度估计器的方差。通过利用赌博机反馈动态更新采样概率，MABS 渐近地将方差逼近最优值的 3 倍以内，并在真实数据集上的 SGD、Prox-SVRG 和 SAGA 中显著加速收敛。

ABSTRACT

Many stochastic optimization algorithms work by estimating the gradient of the cost function on the fly by sampling datapoints uniformly at random from a training set. However, the estimator might have a large variance, which inadvertently slows down the convergence rate of the algorithms. One way to reduce this variance is to sample the datapoints from a carefully selected non-uniform distribution. In this work, we propose a novel non-uniform sampling approach that uses the multi-armed bandit framework. Theoretically, we show that our algorithm asymptotically approximates the optimal variance within a factor of 3. Empirically, we show that using this datapoint-selection technique results in a significant reduction in the convergence time and variance of several stochastic optimization algorithms such as SGD, SVRG and SAGA. This approach for sampling datapoints is general, and can be used in conjunction with any algorithm that uses an unbiased gradient estimation -- we expect it to have broad applicability beyond the specific examples explored in this work.

研究动机与目标

• 解决大规模机器学习中随机梯度估计器方差过高导致收敛变慢的问题。
• 设计一种数据点采样策略，可自适应地减少方差，且无需事先了解梯度大小。
• 设计一种方法，利用梯度计算的在线反馈实时学习最优采样概率。
• 在保持低计算开销的同时，提供方差减少的理论保证。
• 在初始案例研究之外，证明方法在多种随机优化算法中的广泛适用性。

提出的方法

• 将梯度估计器的有效方差表示为采样分布 $ p^t $ 的函数，公式为 $ \mathbb{V}_e^t(w^t, p^t) = \frac{1}{n^2} \sum_{i=1}^n \frac{1}{p_i^t} \|\nabla\phi_i(w^t)\|^2 $。
• 应用 EXP3 多臂赌博机算法，基于观测到的梯度范数在线学习最优采样分布 $ p^t $。
• 使用指数加权方法更新采样概率，以在选择高梯度数据点时平衡探索与利用。
• 通过逆概率加权校正非均匀采样，保持梯度估计器的无偏性：$ \hat{g}(w^t) = \frac{\nabla\phi_{i_t}(w^t)}{n p_i^t} $。
• 利用历史梯度范数动态估计最优分布，避免昂贵的完整梯度计算。
• 该方法无需预处理，并能适应迭代过程中梯度大小的变化。

实验结果

研究问题

• RQ1 基于赌博机的方法能否学习到接近最优的非均匀采样分布，以减少随机梯度下降的方差？
• RQ2 与最优采样分布相比，所提方法的方差近似误差可建立怎样的理论界？
• RQ3 在收敛速度和稳定性方面，所提采样策略与均匀采样和重要性采样相比表现如何？
• RQ4 该方法在提升优化性能的同时，是否保持了低计算开销，且在多种算法和数据集上均适用？
• RQ5 该方法能否增强随机优化中对大步长的鲁棒性？

主要发现

• 在梯度有界的假设下，MABS 渐近地将方差逼近最优值的 3 倍以内。
• 在 w8a 和 ijcnn1 数据集上，与均匀采样和重要性采样相比，MABS 显著减少了 SGD、Prox-SVRG 和 SAGA 的收敛时间和方差。
• SGD_MABS 的收敛速度比使用均匀采样的 S2GD 快 10 倍，且比使用均匀采样的拟牛顿法更接近最优值 13.6 倍。
• MABS 提升了鲁棒性：SGD_MABS 在步长 $ \gamma = 5 $ 时仍保持稳定，而使用均匀采样或重要性采样的 SGD 在 $ \gamma = 0.5 $ 时即发散。
• 该方法仅比标准 SGD 增加约 10% 的训练时间，而使用 $ p \sim G_i $ 的重要性采样使时间增加 40%，使用 $ p \sim L_i $ 的方法则过慢而无法完成。
• 无论是否结合 SAGA 和 Prox-SVRG 等方差减少技术，MABS 在所有测试的算法和数据集上均优于其他采样方法。