[论文解读] Quantitative W 1 Convergence of Langevin-Like Stochastic Processes with Non-Convex Potential State-Dependent Noise.

Xiang Cheng, Dong Yin+2 more|arXiv (Cornell University)|Jul 7, 2019

Stochastic Gradient Optimization Techniques参考文献 22被引用 5

一句话总结

本文为具有非凸势能和状态相关、非高斯噪声的离散朗之万类过程建立了定量的W1收敛速率。研究证明收敛性取决于势能的结构以及噪声的二阶矩，并将结果应用于非凸优化中随机梯度下降（SGD）的分析，且在CIFAR-10数据集上进行了实证验证。

ABSTRACT

We prove quantitative convergence rates at which discrete Langevin-like processes converge to the invariant distribution of a related stochastic differential equation. We study the setup where the additive noise can be non-Gaussian and state-dependent and the potential function can be non-convex. We show that the key properties of these processes depend on the potential function and the second moment of the additive noise. We apply our theoretical findings to studying the convergence of Stochastic Gradient Descent (SGD) for non-convex problems and corroborate them with experiments using SGD to train deep neural networks on the CIFAR-10 dataset.

研究动机与目标

• 为在非凸势能和状态相关、非高斯噪声条件下，建立离散朗之万类过程的严格定量收敛速率。
• 识别收敛性对势能函数和加性噪声二阶矩的关键依赖关系。
• 弥合随机过程的理论分析与非凸设置下如SGD等实际优化算法之间的鸿沟。
• 通过在CIFAR-10数据集上使用SGD训练深度神经网络的实证实验，验证理论发现。

提出的方法

• 推导随机微分方程的不变分布与离散朗之万过程分布之间在Wasserstein-1（W1）距离上的收敛边界。
• 通过利用势能的性质和噪声分布的矩，分析非凸势能函数与状态相关噪声的影响。
• 采用耦合技术与漂移条件，控制离散过程与连续过程之间的距离。
• 将加性噪声的二阶矩作为控制收敛速度的关键参数。
• 将理论框架应用于分析非凸优化中SGD的不变测度，将SGD视为朗之万SDE的离散化形式。
• 在CIFAR-10数据集上对深度神经网络使用SGD进行训练，以验证理论收敛趋势。

实验结果

研究问题

• RQ1 非凸势能和状态相关、非高斯噪声如何影响离散朗之万过程的W1收敛速率？
• RQ2 加性噪声的二阶矩在决定收敛至不变分布的速度方面起什么作用？
• RQ3 朗之万过程的理论收敛框架能否在非凸优化中被有意义地应用于分析SGD？
• RQ4 CIFAR-10训练的实证结果在多大程度上与理论分析预测的收敛行为一致？

主要发现

• 本文为具有非凸势能和状态相关、非高斯噪声的离散朗之万过程建立了明确的定量W1收敛速率。
• 收敛速度被证明关键取决于势能函数的结构以及加性噪声的二阶矩。
• 理论框架成功通过将SGD建模为离散化朗之万过程，解释了其在非凸设置下的行为。
• CIFAR-10上的实证结果表明，观测到的训练动态与理论分析预测的收敛趋势一致。
• 分析表明，只要噪声结构和势能性质满足特定矩条件，势能的非凸性并不会阻碍收敛。
• 噪声的二阶矩成为决定收敛至不变分布速率的主导因素。