[论文解读] The Landscape of Deep Learning Algorithms

Pan Zhou, Jiashi Feng|arXiv (Cornell University)|May 19, 2017

Stochastic Gradient Optimization Techniques参考文献 28被引用 17

一句话总结

本文通过分析深度线性与非线性神经网络中经验风险向总体风险的统一收敛性，首次对深度学习算法的损失曲面进行了理论表征。该研究建立了风险与梯度的收敛速率，证明了非退化驻点之间的一一对应关系，并推导出依赖于深度、宽度、参数幅值和训练样本量的样本复杂度边界。

ABSTRACT

This paper studies the landscape of empirical risk of deep neural networks by theoretically analyzing its convergence behavior to the population risk as well as its stationary points and properties. For an $l$-layer linear neural network, we prove its empirical risk uniformly converges to its population risk at the rate of $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ with training sample size of $n$, the total weight dimension of $d$ and the magnitude bound $r$ of weight of each layer. We then derive the stability and generalization bounds for the empirical risk based on this result. Besides, we establish the uniform convergence of gradient of the empirical risk to its population counterpart. We prove the one-to-one correspondence of the non-degenerate stationary points between the empirical and population risks with convergence guarantees, which describes the landscape of deep neural networks. In addition, we analyze these properties for deep nonlinear neural networks with sigmoid activation functions. We prove similar results for convergence behavior of their empirical risks as well as the gradients and analyze properties of their non-degenerate stationary points. To our best knowledge, this work is the first one theoretically characterizing landscapes of deep learning algorithms. Besides, our results provide the sample complexity of training a good deep neural network. We also provide theoretical understanding on how the neural network depth $l$, the layer width, the network size $d$ and parameter magnitude determine the neural network landscapes.

研究动机与目标

• 通过分析经验风险向总体风险的收敛性，对深度学习算法的损失曲面进行理论表征。
• 基于经验风险的统一收敛性，建立深度神经网络的泛化与稳定性边界。
• 分析深度线性与非线性网络中经验风险与总体风险驻点之间的对应关系。
• 量化网络深度、宽度、参数幅值与训练样本量在决定优化曲面中的作用。
• 推导出保证泛化性能的深度神经网络训练样本复杂度边界。

提出的方法

• 证明了 $l$ 层线性网络中经验风险向总体风险的统一收敛速率为 $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$。
• 建立了梯度统一收敛速率为 $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$。
• 展示了经验风险与总体风险的非退化驻点之间存在一一对应关系，并具有收敛保证。
• 将相同的分析框架应用于具有Sigmoid激活函数的深度非线性网络，推导出类似的收敛与对应关系结果。
• 利用基于反向传播的梯度分解与矩阵范数分析，推导出敏感性与收敛边界。
• 引入参数幅值边界 $r$ 与网络规模 $d$ 作为控制收敛与泛化性能的关键因素。

实验结果

研究问题

• RQ1 随着训练样本量、深度、宽度与参数幅值的变化，深度神经网络的经验风险如何收敛到其总体风险？
• RQ2 在深度线性与非线性网络中，经验风险的驻点与总体风险的驻点之间存在何种关系？
• RQ3 网络深度 $l$、层宽 $\max_j(\bm{d}_j\bm{d}_{j-1})$、总参数维数 $d$ 与权重幅值 $r$ 如何影响优化曲面？
• RQ4 为确保训练深度神经网络的泛化与稳定性，所需的样本复杂度是多少？
• RQ5 经验风险到总体风险的梯度收敛是否可被统一有界？这对优化动力学意味着什么？

主要发现

• $l$ 层线性网络的经验风险以速率 $\mathcal{O}(r^{2l}\sqrt{d\log(l)}/\sqrt{n})$ 统一收敛于总体风险。
• 经验风险的梯度以速率 $\mathcal{O}(r^{2l-1}\sqrt{ld\log(l)\max_j(\bm{d}_j\bm{d}_{j-1})}/\sqrt{n})$ 统一收敛于总体风险的梯度。
• 经验风险与总体风险的非退化驻点之间存在一一对应关系，且具有统一收敛保证。
• 对于具有Sigmoid激活函数的深度非线性网络，类似的收敛与对应关系结果依然成立，理论由此扩展至非线性模型。
• 训练良好深度神经网络的样本复杂度边界为 $\mathcal{O}(r^{4l} d \log l)$，显示出对深度与参数幅值的依赖性。
• 控制参数幅值 $r$ 对确保泛化与稳定性至关重要，因为较大的 $r$ 会导致收敛变慢并增加过拟合风险。