[论文解读] Towards Understanding the Importance of Noise in Training Neural Networks

Mo Zhou, Tianyi Liu+4 more|arXiv (Cornell University)|Sep 7, 2019

Stochastic Gradient Optimization Techniques被引用 16

一句话总结

本文研究了梯度更新中的噪声如何在具有虚假局部极小值的两层卷积神经网络训练中促进收敛至全局最优解。通过结合扰动梯度下降与噪声退火，作者证明了在任意初始化下可实现多项式时间收敛至全局最优解，表明噪声有助于在非凸优化景观中逃离不良局部解。

ABSTRACT

Numerous empirical evidence has corroborated that the noise plays a crucial rule in effective and efficient training of neural networks. The theory behind, however, is still largely unknown. This paper studies this fundamental problem through training a simple two-layer convolutional neural network model. Although training such a network requires solving a nonconvex optimization problem with a spurious local optimum and a global optimum, we prove that perturbed gradient descent and perturbed mini-batch stochastic gradient algorithms in conjunction with noise annealing is guaranteed to converge to a global optimum in polynomial time with arbitrary initialization. This implies that the noise enables the algorithm to efficiently escape from the spurious local optimum. Numerical experiments are provided to support our theory.

研究动机与目标

• 理解噪声在深度神经网络训练过程中逃离虚假局部最优解的理论作用。
• 分析带有噪声退火的扰动梯度下降是否能在具有已知虚假极小值的两层卷积神经网络中收敛至全局最优解。
• 为存在非凸性和不良局部极小值情况下的优化提供严格的收敛保证。
• 确立噪声可实现高效逃离不良局部最优解，即使在任意初始化下亦成立。

提出的方法

• 作者研究了一个带有ReLU激活函数和单位范数权重约束的两层非重叠卷积神经网络，以确保可识别性。
• 他们分析了一种在每次更新步骤中注入独立噪声的扰动梯度下降算法，该噪声与SGD的样本相关噪声不同。
• 采用噪声退火策略，随训练轮次逐渐降低噪声幅度以稳定收敛。
• 理论分析使用鞅集中不等式和Azuma不等式来限制与期望更新动态的偏差。
• 证明表明，该算法以高概率在多项式时间内收敛至全局最优解。
• 分析聚焦于输出权重向量 $a$，并表明噪声可平滑损失景观，消除虚假极小值的影响。

实验结果

研究问题

• RQ1 梯度更新中的噪声是否能促使具有已知虚假局部极小值的两层CNN收敛至全局最优解？
• RQ2 噪声退火如何影响扰动梯度下降在非凸优化中的收敛行为？
• RQ3 SGD中噪声为何能避开尖锐且泛化能力差的极小值，其理论依据是什么？
• RQ4 带有任意初始化的扰动梯度下降能否逃离虚假局部极小值？

主要发现

• 带有噪声退火的扰动梯度下降即使在任意初始化下，也能在多项式时间内收敛至全局最优解。
• 由于噪声引起的损失景观平滑化，该算法能够逃离虚假局部极小值。
• 以高概率 $1 - \widetilde{O}(\eta^2\delta)$，在 $\widetilde{O}(\eta^{-2})$ 次迭代后，输出权重 $a_t$ 保持在 $O(\gamma)$ 范围内，接近真实 $a^*$。
• 收敛速率与步长 $\eta$ 的倒数呈多项式关系，且通过退火策略仔细调节噪声水平。
• 数值实验支持理论发现，表明噪声可防止收敛至次优解。
• 该结果在高斯输入和可实现的教师-学生网络设置假设下成立。