[论文解读] Stochastic Gradient Descent, Weighted Sampling, and the Randomized Kaczmarz algorithm

Deanna Needell, Nathan Srebro+1 more|arXiv (Cornell University)|Oct 21, 2013

Stochastic Gradient Optimization Techniques参考文献 40被引用 33

一句话总结

该论文通过重要性采样（加权采样）方法，建立了对光滑且强凸问题的随机梯度下降（SGD）的更紧致的收敛保证，将条件数 $L/\mu$ 的依赖关系从二次方降低为线性。该研究将 SGD 与随机化 Kaczmarz 算法联系起来，实现了更优的收敛速率，并提出了一种改进的 Kaczmarz 方法，通过部分偏差采样实现对真实最小二乘解的指数收敛。

ABSTRACT

We obtain an improved finite-sample guarantee on the linear convergence of stochastic gradient descent for smooth and strongly convex objectives, improving from a quadratic dependence on the conditioning $(L/μ)^2$ (where $L$ is a bound on the smoothness and $μ$ on the strong convexity) to a linear dependence on $L/μ$. Furthermore, we show how reweighting the sampling distribution (i.e. importance sampling) is necessary in order to further improve convergence, and obtain a linear dependence in the average smoothness, dominating previous results. We also discuss importance sampling for SGD more broadly and show how it can improve convergence also in other scenarios. Our results are based on a connection we make between SGD and the randomized Kaczmarz algorithm, which allows us to transfer ideas between the separate bodies of literature studying each of the two methods. In particular, we recast the randomized Kaczmarz algorithm as an instance of SGD, and apply our results to prove its exponential convergence, but to the solution of a weighted least squares problem rather than the original least squares problem. We then present a modified Kaczmarz algorithm with partially biased sampling which does converge to the original least squares solution with the same exponential convergence rate.

研究动机与目标

• 改进光滑且强凸目标函数下随机梯度下降（SGD）的有限样本收敛速率。
• 证明重要性采样（加权采样）在标准均匀采样之外进一步提升收敛性的必要性。
• 建立 SGD 与随机化 Kaczmarz 算法之间的正式联系，以实现两种方法间的洞察转移。
• 设计一种改进的 Kaczmarz 算法，通过部分偏差采样实现对原始最小二乘解的指数收敛。
• 提供更紧致的理论界，表明迭代复杂度对 $L/\mu$ 的依赖为线性而非二次

提出的方法

• 将随机化 Kaczmarz 算法重新表述为加权最小二乘目标上的 SGD 实例。
• 通过基于行范数（或利普希茨常数）重新加权采样分布，引入重要性采样，以最小化梯度估计的方差。
• 分析加权采样下 SGD 的收敛性，推导出对条件数 $L/\mu$ 呈线性依赖的收敛界。
• 提出一种采用部分偏差采样的改进型 Kaczmarz 方法，确保收敛至原始最小二乘解而非加权解。
• 利用 SGD 与 Kaczmarz 之间的联系，实现收敛保证的转移，证明在适当采样下两种方法均具有指数收敛性。
• 建立期望次优性 $\mathbb{E}\|\mathbf{x}_k - \mathbf{x}_\star\|^2$ 的理论界，其对 $1/\varepsilon$ 的依赖呈对数关系。

实验结果

研究问题

• RQ1 光滑且强凸问题的 SGD 收敛速率能否超越对条件数 $ (L/\mu)^2 $ 的标准依赖？
• RQ2 重要性采样（加权采样）在超越均匀采样时对 SGD 收敛性的提升作用是什么？
• RQ3 如何将随机化 Kaczmarz 算法重新解释为一种 SGD 形式，以利用现有的 SGD 收敛理论？
• RQ4 能否设计一种 Kaczmarz 变体，在非均匀采样下仍能收敛至真实最小二乘解并保持指数收敛？
• RQ5 SGD 的收敛速率是否对平均光滑性或最坏情况光滑性呈线性依赖？重要性采样如何影响这一关系？

主要发现

• 论文在 SGD 收敛速率中建立了对条件数 $L/\mu$ 的线性依赖，优于先前的二次方依赖 $(L/\mu)^2$。
• 通过重新加权采样分布实现的重要性采样，使收敛界对平均光滑性 $\mathbb{E}[L_i^2]$ 呈线性依赖，优于先前结果。
• 随机化 Kaczmarz 方法被重新表述为加权最小二乘问题上的 SGD 实例，从而推导出对加权解的指数收敛。
• 提出一种采用部分偏差采样的改进型 Kaczmarz 算法，其收敛至原始最小二乘解，且收敛速率与标准方法相同，为指数级。
• 数值实验表明，当行具有不同范数时，加权采样（$\lambda = 0$）优于均匀采样（$\lambda = 1$），尤其在高噪声环境下。
• 在低噪声和良好条件设置下，纯加权采样为最优；而在中高噪声环境下，中间采样（$\lambda \in (0,1)$）表现最佳，验证了理论上的收敛速率与初始误差之间的权衡。