[论文解读] Non-convex learning via Stochastic Gradient Langevin Dynamics: a nonasymptotic analysis

Maxim Raginsky, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 13, 2017

Markov Chains and Monte Carlo Methods参考文献 18被引用 152

一句话总结

本文在非凸学习中为 Stochastic Gradient Langevin Dynamics (SGLD) 提供有限时间、非渐进保证，将离散更新与 Langevin diffusion 联系起来，并使用 Waterstein-distance 分析来界定过度风险和泛化。

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a popular variant of Stochastic Gradient Descent, where properly scaled isotropic Gaussian noise is added to an unbiased estimate of the gradient at each iteration. This modest change allows SGLD to escape local minima and suffices to guarantee asymptotic convergence to global minimizers for sufficiently regular non-convex objectives (Gelfand and Mitter, 1991). The present work provides a nonasymptotic analysis in the context of non-convex learning problems, giving finite-time guarantees for SGLD to find approximate minimizers of both empirical and population risks. As in the asymptotic setting, our analysis relates the discrete-time SGLD Markov chain to a continuous-time diffusion process. A new tool that drives the results is the use of weighted transportation cost inequalities to quantify the rate of convergence of SGLD to a stationary distribution in the Euclidean $2$-Wasserstein distance.

研究动机与目标

• 激发非凸优化问题并将 SGLD 作为一种实用的带噪声算法来帮助跳出局部极小值进行研究。
• 将离散的 SGLD 更新与连续的 Langevin diffusion 连接起来，以便进行非渐进分析。
• 对经验风险和总体风险给出有限时间的过度风险界限。
• 将过度风险分解为泛化误差和经验最小值之间的差距，并对每个部分给出界限。

提出的方法

• 研究 SGLD 更新 W_{k+1} = W_k - eta g_k + sqrt(2 eta / beta) xi_k，其中 g_k 是一个随机梯度估计。
• 将更新建模为 Langevin diffusion 的离散化 dW(t) = -grad F_Z(W(t)) dt + sqrt(2/beta) dB(t) 的离散化。
• 使用加权运输成本不等式来界定 SGLD 迭代与扩散之间的 2-Wasserstein 距离。
• 为 Gibbs 分布建立对数 Sobolev 不等式，以在 Wasserstein 距离中获得指数收敛。
• 证明 Gibbs 分布在数据扰动下的稳定性，以通过统一稳定性论据控制泛化。
• 利用非渐近的 Laplace 近似来表明一个 Gibbs draw 是近似的经验极小值点。

实验结果

研究问题

• RQ1 SGLD 是否能够实现对非凸目标的非渐近收敛保证？
• RQ2 在 2-Wasserstein 距离下，SGLD 迭代分布随时间与 Gibbs 分布有多接近？
• RQ3 在使用 SGLD 优化经验风险和总体风险时，有限时间内的过度风险界限是多少？
• RQ4 在该非凸设置中，Gibbs 分布的稳定性如何与泛化相关？

主要发现

• 期望的过度风险界限分解为三个项，具有特定的尺度：第一项的尺度为 epsilon * Poly(beta, d, 1/lambda_*)，在 k >= Poly(beta, d, 1/lambda_*) * 1/epsilon^4 且 eta <= (epsilon / log(1/epsilon))^4 时。
• 第二项和第三项的尺度分别为 (beta + d)^2 / (lambda_* n) 和 d log(beta+1) / beta。
• 该分析将离散的 SGLD 与 Langevin diffusion 联系起来，并表明在足够大的 beta 时 Gibbs 分布会收敛/集中在经验最小值周围。
• 在单坐标数据扰动下，为 Gibbs 算法建立了统一稳定性界限，便于泛化控制。
• 主要结果（Theorem 2.1）在假设包括光滑性、耗散性和梯度 oracle 精度的条件下，给出一个有限时间、非渐进的过度风险界限。