[论文解读] The critical locus of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|May 8, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用 4

一句话总结

本文研究了过参数化前馈神经网络中临界点的几何结构，识别出其中存在一个正维数的“星形轨迹”S以及其内部的一个退化核心轨迹C。对于深度网络（深度ℓ ≥ 4），证明了C中临界点为退化点，其Hessian矩阵恰好有一个非零特征值，并表明零Hessian特征值的数量随宽度m线性增长，为梯度下降可能收敛至非全局最小值提供了基础性洞见。

ABSTRACT

Many aspects of the geometry of loss functions in deep learning remain mysterious. In this paper, we work toward a better understanding of the geometry of the loss function $L$ of overparameterized feedforward neural networks. In this setting, we identify several components of the critical locus of $L$ and study their geometric properties. For networks of depth $\ell \geq 4$, we identify a locus of critical points we call the star locus $S$. Within $S$ we identify a positive-dimensional sublocus $C$ with the property that for $p \in C$, $p$ is a degenerate critical point, and no existing theoretical result guarantees that gradient descent will not converge to $p$. For very wide networks, we build on earlier work and show that all critical points of $L$ are degenerate, and give lower bounds on the number of zero eigenvalues of the Hessian at each critical point. For networks that are both deep and very wide, we compare the growth rates of the zero eigenspaces of the Hessian at all the different families of critical points that we identify. The results in this paper provide a starting point to a more quantitative understanding of the properties of various components of the critical locus of $L$.

研究动机与目标

• 理解过参数化深度神经网络中损失函数L的临界轨迹的几何结构。
• 识别并表征正维数的临界点族，尤其是可能使梯度下降陷入的退化临界点。
• 量化临界轨迹的维数以及零Hessian特征值数量随网络宽度m的缩放关系。
• 比较深度网络与极宽网络中不同临界点族的增长速率。
• 为临界点的退化性提供理论边界，尤其在全局最小值与非全局临界点的情境下。

提出的方法

• 将星形轨迹S识别为深度网络（深度ℓ ≥ 4）中由过参数化结构对称性导出的正维数临界轨迹。
• 将核心轨迹C ⊂ S定义为具有恰好一个非零Hessian特征值的退化临界点子轨迹。
• 运用代数几何与Hessian分析方法，计算S与C的维数，得出dim(S) = (ℓ−3)m² + (a+1)m，dim(C) = (ℓ−4)m² + (a+1)m。
• 应用[Ngu19]与[LDS18]的结果，表明在极宽网络中，所有临界点均为退化点，且Hessian矩阵至少具有(m−n+1)b个零特征值。
• 推导出所有临界点处Hessian矩阵零特征值数量的下限，表明非全局最小值处其数量随m线性增长。
• 比较不同临界点族在m增大时，其临界轨迹维数与零特征子空间维数的渐近增长关系。

实验结果

研究问题

• RQ1 过参数化深度神经网络中损失函数临界轨迹的几何与拓扑性质是什么？
• RQ2 在深度非线性网络中，是否存在正维数的退化临界点族？若存在，其维数是多少？
• RQ3 在不同类型的临界点处，Hessian矩阵的零特征值数量如何随网络宽度m增长？
• RQ4 随着网络宽度增加，全局最小值轨迹、星形轨迹及其他临界轨迹的维数如何比较？
• RQ5 退化性与Hessian结构对梯度下降收敛行为施加了何种约束？

主要发现

• 对于深度网络（ℓ ≥ 4），星形轨迹S是维数为(ℓ−3)m² + (a+1)m的正维数临界轨迹。
• 核心轨迹C ⊂ S由具有恰好一个非零Hessian特征值的退化临界点组成，其维数为(ℓ−4)m² + (a+1)m。
• 在极宽网络中，所有临界点均为退化点，且Hessian矩阵至少具有(m−n+1)b个零特征值。
• 所有非全局最小值的临界点，其零Hessian特征值数量随m线性增长。
• 全局最小值轨迹M的维数为d−bn，其随m的增长速度超过星形轨迹或其他水平集中的线性子空间。
• 随着m增大，全局最小值轨迹的维数增长最快，其次为星形轨迹，再次为非全局临界点水平集中的线性子空间。