[论文解读] Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms

Attila Lovas, Iosif Lytras+2 more|arXiv (Cornell University)|Jun 25, 2020

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出TUSLA（驯服未调整随机朗之万算法），一种用于深度神经网络非凸学习的新型自适应随机梯度朗之万方法。通过结合驯服技术与SGLD，TUSLA即使在梯度超线性增长的情况下也能确保稳定性和收敛性，为高维、非凸设置下最小化经验风险和总体风险提供了有限时间保证。

ABSTRACT

Artificial neural networks (ANNs) are typically highly nonlinear systems which are finely tuned via the optimization of their associated, non-convex loss functions. In many cases, the gradient of any such loss function has superlinear growth, making the use of the widely-accepted (stochastic) gradient descent methods, which are based on Euler numerical schemes, problematic. We offer a new learning algorithm based on an appropriately constructed variant of the popular stochastic gradient Langevin dynamics (SGLD), which is called tamed unadjusted stochastic Langevin algorithm (TUSLA). We also provide a nonasymptotic analysis of the new algorithm's convergence properties in the context of non-convex learning problems with the use of ANNs. Thus, we provide finite-time guarantees for TUSLA to find approximate minimizers of both empirical and population risks. The roots of the TUSLA algorithm are based on the taming technology for diffusion processes with superlinear coefficients as developed in \citet{tamed-euler, SabanisAoAP} and for MCMC algorithms in \citet{tula}. Numerical experiments are presented which confirm the theoretical findings and illustrate the need for the use of the new algorithm in comparison to vanilla SGLD within the framework of ANNs.

研究动机与目标

• 解决标准随机梯度下降（SGD）和SGLD在深度神经网络中因梯度呈现超线性增长而产生的不稳定性问题。
• 克服经典欧拉方法在非凸、高维损失曲面中因缺乏耗散性和全局利普希茨连续性而导致的失效问题。
• 开发一种稳定且自适应的算法，确保对经验风险和总体风险近似最小值的有限时间收敛。
• 将原本用于SDE和MCMC的驯服技术扩展至随机梯度朗之万动力学，以应对非凸优化问题。
• 在局部利普希茨连续性和超线性增长条件下，提供具有显式有限时间界的确切收敛性分析。

提出的方法

• 提出TUSLA，即SGLD的一种变体，通过在梯度漂移项中应用驯服技术，以控制高维、非凸设置下的爆炸性增长。
• 引入朗之万SDE的驯服欧拉离散化，用驯服后的梯度替代标准梯度，以确保矩稳定性与有限时间收敛性。
• 采用高阶正则化和自适应步长控制，在梯度超线性增长时维持稳定性，避免标准SGLD中出现的发散现象。
• 利用Eberle等人（2019a）的矩估计与压缩性论证，推导出在Wasserstein-1与Wasserstein-2距离下的非渐近收敛界。
• 使用无偏随机梯度估计器 $ H(\theta, X_n) $，满足 $ \mathbb{E}[H(\theta, X_0)] = \nabla u(\theta) $，确保与真实梯度的一致性。
• 分析关键参数 $ \beta $、$ \eta $、$ d $ 和 $ \lambda $ 对收敛常数的影响，表明 $ d/\beta $ 和 $ 1/\eta $ 的增大可降低不稳定性。

实验结果

研究问题

• RQ1 驯服技术能否在梯度超线性增长且违反全局利普希茨条件的深度神经网络中稳定SGLD？
• RQ2 在局部利普希茨连续性和超线性梯度增长条件下，SGLD变体的有限时间收敛保证为何种形式？
• RQ3 维度 $ d $、温度 $ \beta $ 和正则化 $ \eta $ 之间的相互作用如何影响算法的稳定性和收敛性？
• RQ4 尽管理论复杂度较高，TUSLA算法在实践中是否能优于原始SGLD？
• RQ5 收敛界中的理论常数在多大程度上依赖于问题特定参数（如 $ d $、$ \beta $ 和 $ \eta $）？

主要发现

• TUSLA在非凸设置下，对最小化经验风险和总体风险，均提供了Wasserstein-1与Wasserstein-2距离下的非渐近有限时间收敛保证。
• 即使在梯度超线性增长的情况下，该算法仍能确保稳定性和矩控制，克服了标准SGLD在该类区域中的发散问题。
• 收敛常数 $ z_1 $ 和 $ z_2 $ 对维度 $ d $ 呈指数依赖，主要源于 $ \hat{c} $，而 $ \hat{c} $ 源于Eberle等人（2019a）的压缩性估计，但通过增大 $ \beta $ 可缓解此依赖。
• 常数 $ C'_p $、$ \dot{c} $ 和 $ \hat{c} $ 依赖于 $ d/\beta $ 和 $ 1/\eta $，表明提高 $ \beta $ 或增强正则化 $ \eta $ 可降低不稳定性。
• 数值实验表明，实际应用中的常数远低于理论估计值，表明TUSLA在真实神经网络训练中具有鲁棒性和实用性。
• 在神经网络训练中，该方法的稳定性优于原始SGLD，尤其在梯度增长违反欧拉格式标准假设的情况下表现更优。