[论文解读] Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
本论文证明，在高斯随机初始化和参数量过大条件下，深度 ReLU 网络在二分类任务中，对训练损失的全局最小值都能被梯度下降和随机梯度下降达到，在一个温和的数据分离假设下。
We study the problem of training deep neural networks with Rectified Linear Unit (ReLU) activation function using gradient descent and stochastic gradient descent. In particular, we study the binary classification problem and show that for a broad family of loss functions, with proper random weight initialization, both gradient descent and stochastic gradient descent can find the global minima of the training loss for an over-parameterized deep ReLU network, under mild assumption on the training data. The key idea of our proof is that Gaussian random initialization followed by (stochastic) gradient descent produces a sequence of iterates that stay inside a small perturbation region centering around the initial weights, in which the empirical loss function of deep ReLU networks enjoys nice local curvature properties that ensure the global convergence of (stochastic) gradient descent. Our theoretical results shed light on understanding the optimization for deep learning, and pave the way for studying the optimization dynamics of training modern deep neural networks.
研究动机与目标
- 从优化角度激发对为何训练深度 ReLU 网络成功的理解。
- 展示过参数化和随机初始化如何使基于梯度的方法达到深度网络的全局最小值。
- 为梯度下降和随机梯度下降在广泛的损失类中提供收敛保证。
- 通过采用更实用的数据分离条件放宽以往的强假设。
提出的方法
- 建立一个 L 隐藏层的全连接 ReLU 网络，采用高斯初始化。
- 在满足温和的光滑性和增长条件的广义损失族下分析训练动力学。
- 证明梯度下降保持在初始化周围的小扰动区域内，并享有有利的局部曲率。
- 将分析扩展到随机梯度下降，并推导其收敛到零训练误差的条件。
- 表征网络宽度和数据参数如何以多项式依赖影响收敛性。
实验结果
研究问题
- RQ1在分类任务中，过参数化结合高斯初始化是否能确保 GD/SGD 对深度 ReLU 网络的全局收敛？
- RQ2在温和的数据分离假设下，保证零训练误差所需的网络宽度和迭代次数是多少？
- RQ3在广义损失类中，损失函数的选择如何影响收敛保证？
- RQ4在所提出框架下，GD 和 SGD 在收敛保证与所需资源方面有何比较？
主要发现
- 梯度下降和随机梯度下降均可实现过参数化的深度 ReLU 网络的训练损失全局最小值。
- 在较温和的数据分离假设下，收敛性适用于广泛的损失函数族。
- 所需的每隐藏层节点数的宽度和迭代次数与样本量和数据分离等问题参数呈多项式关系。
- SGD 在与 GD 相似的保证下也可实现零训练误差，但可能需要在宽度/迭代次数上更大的一倍量级。
- 该分析依赖于保持在高斯初始化周围的扰动区域内，在该区域网络表现出有利的局部曲率。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。