[论文解读] Optimization and Generalization of Shallow Neural Networks with Quadratic Activation Functions

Stefano Sarao Mannelli, Eric Vanden‐Eijnden+1 more|arXiv (Cornell University)|Jun 27, 2020

Stochastic Gradient Optimization Techniques参考文献 30被引用 16

一句话总结

本文研究了在过参数化设置下具有二次激活函数的单隐层神经网络，表明当训练样本数超过每个输入维度的临界阈值 $\alpha_c = m^* + 1$ 时，经验损失上的梯度下降以高概率收敛至教师网络。研究证明在此条件下泛化误差消失，并推导出显式的收敛速率，包括 $O(t^{-2})$ 和依赖于模型维度的指数衰减。

ABSTRACT

We study the dynamics of optimization and the generalization properties of one-hidden layer neural networks with quadratic activation function in the over-parametrized regime where the layer width $m$ is larger than the input dimension $d$. We consider a teacher-student scenario where the teacher has the same structure as the student with a hidden layer of smaller width $m^*\le m$. We describe how the empirical loss landscape is affected by the number $n$ of data samples and the width $m^*$ of the teacher network. In particular we determine how the probability that there be no spurious minima on the empirical loss depends on $n$, $d$, and $m^*$, thereby establishing conditions under which the neural network can in principle recover the teacher. We also show that under the same conditions gradient descent dynamics on the empirical loss converges and leads to small generalization error, i.e. it enables recovery in practice. Finally we characterize the time-convergence rate of gradient descent in the limit of a large number of samples. These results are confirmed by numerical experiments.

研究动机与目标

• 理解过参数化浅层神经网络在何种条件下可通过优化恢复真实的教师网络。
• 确定使经验损失景观具有唯一全局最小值于教师网络的最小训练样本数。
• 刻画梯度下降在经验损失上的收敛动力学及其泛化性能。
• 量化在大样本极限下梯度下降的非渐近收敛速率。
• 利用弦方法探索损失景观结构，识别从初始权重到教师网络的最低能量路径。

提出的方法

• 在教师-学生框架下分析具有单隐层网络和二次激活函数的经验损失景观。
• 推导出每个输入维度 $d$ 的样本数 $n$ 的临界样本复杂度阈值 $\alpha_c = m^* + 1$，当样本数超过此阈值时，最小化器集合以高概率缩减为仅包含教师网络的单点集。
• 使用一组类似于洛特卡-沃尔泰拉方程的常微分方程系统，建模控制动力学的海森矩阵特征值的演化。
• 通过经验损失上的梯度下降流研究收敛至低泛化误差的过程，并给出损失衰减速率的显式界。
• 应用弦方法探测损失景观，识别连接初始权重与教师网络的最低能量路径。
• 采用渐近分析与数值分析相结合的方法，验证高维极限下收敛速率与特征值动力学的准确性。

实验结果

研究问题

• RQ1 在样本数 $n$、输入维度 $d$ 和教师宽度 $m^*$ 满足何种条件时，经验损失景观中不包含伪最小值？
• RQ2 梯度下降在经验损失上是否能收敛至真实教师网络？该收敛在何种样本复杂度阈值下发生？
• RQ3 在大样本范围内，梯度下降在经验损失上的非渐近收敛速率为何？
• RQ4 损失衰减速率如何依赖于模型超参数 $d$、$m$ 和 $m^*$？
• RQ5 弦方法可揭示损失景观的哪些结构特征（如能量壁垒或平坦区域）？

主要发现

• 所有最小值处的经验损失值均为零，但当 $n/d \geq m^* + 1$ 时，最小值集合以高概率缩减为仅包含教师网络的单点集。
• 当 $n/d \geq m^* + 1$ 时，经验损失上的梯度下降收敛至泛化误差较小的解，从而实现对教师网络的实际恢复。
• 在一种情形下，损失随时间 $t$ 呈 $O(t^{-2})$ 衰减；在另一种情形下，损失呈指数衰减，具体取决于 $d$ 与 $m^*$ 的相对大小。
• 收敛速率上界为 $C_1 / (1 + C_2 t)$，其中 $C_1, C_2 > 0$，且显式的时间常数由特征值动力学导出。
• 弦方法揭示，损失景观中存在连接初始权重与教师网络的路径，包括穿越平坦区域或能量壁垒的路径。
• 数值验证表明，所推导的特征值动力学与收敛近似具有高度准确性，尤其在高维极限下表现优异。