[论文解读] On exponential convergence of SGD in non-convex over-parametrized learning

Raef Bassily, Mikhail Belkin+1 more|arXiv (Cornell University)|Nov 6, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用 58

一句话总结

论文证明在插值范畴内，对满足 Polyak-Lojasiewicz (PL) 条件的损失函数，采用固定步长的小批量 SGD 可以实现指数收敛，将先前的凸结果推广到非凸的 PL 损失。

ABSTRACT

Large over-parametrized models learned via stochastic gradient descent (SGD) methods have become a key element in modern machine learning. Although SGD methods are very effective in practice, most theoretical analyses of SGD suggest slower convergence than what is empirically observed. In our recent work [8] we analyzed how interpolation, common in modern over-parametrized learning, results in exponential convergence of SGD with constant step size for convex loss functions. In this note, we extend those results to a much broader non-convex function class satisfying the Polyak-Lojasiewicz (PL) condition. A number of important non-convex problems in machine learning, including some classes of neural networks, have been recently shown to satisfy the PL condition. We argue that the PL condition provides a relevant and attractive setting for many machine learning problems, particularly in the over-parametrized regime.

研究动机与目标

• 激发在超参数化模型的插值情形下研究 SGD 收敛性的动机。
• 将 Polyak-Lojasiewicz (PL) 条件引入作为一种广义非凸框架。
• 展示对 PL 损失，使用固定步长的小批量 SGD 的指数收敛性。
• 突出 PL 函数的变换不变性特性及其对 SGD 的意义。
• 为一类凸 PL 损失提供更快收敛的特殊结果。

提出的方法

• 定义 alpha-PL 函数与用于具有光滑损失的经验风险最小化(ERM) 的插值假设。
• 分析具有常数步长 eta* 的小批量 SGD 并推导收敛界限。
• 显示 E[L(w_t)] 以幂等几何下降，速率为 (1 - alpha eta*(m)/2)。
• 推导得到 eta*(m) = alpha m / (lambda (beta + lambda (m-1))).
• 将结果扩展到 compositions f(Phi(.))，在雅可比矩阵有界的前提下，保持 PL 性质和光滑性。
• 讨论一种特殊类的凸 PL 损失，形式为 g(Ax)，其中 A 为定值，并将收敛性与 A 的奇异值相关联。

实验结果

研究问题

• RQ1 固定步长的 SGD 在插值范畴内是否对非凸 PL 损失也能实现指数收敛？
• RQ2 在 PL 条件下，小批量大小 m 如何影响最优步长和收敛速度？
• RQ3 坐标变换或特征映射下是否能保持 PL 收敛性？
• RQ4 对于子类的凸 PL 损失，是否可以在一般 PL 上界之外提高收敛速率？
• RQ5 何种结构条件（如具有奇异值的线性映射）能为 SGD 提供更强的保证？

主要发现

• 具有常数步长 eta*(m) 的小批量 SGD，在 alpha-PL 与插值假设下，期望实现指数收敛。
• 收敛界为 E[L(w_t)] ≤ (1 - alpha eta*(m)/2)^t L(w_0).
• 最优步长为 eta*(m) = alpha m / (lambda (beta + lambda (m-1))).
• PL 函数在一大类 Jacobian 有界的变换 Phi 下保持闭合，保留指数 SGD 收敛。
• 对于特殊类 f(w) = g(Aw)，若 g 为凸且强凸，SGD 以一个与 A 的奇异值相关的速率实现指数收敛，速率依赖于 sigma_min^2 和 sigma_max^2。
• 一个变换不变性性质表明，在温和条件下，PL 收敛对特征映射和坐标变换具有鲁棒性。