[论文解读] Symmetry & critical points for a model shallow neural network

Yossi Arjevani, Michael Field|arXiv (Cornell University)|Mar 23, 2020

Neural Networks and Applications参考文献 25被引用 4

一句话总结

本文利用对称性和群论分析两层ReLU神经网络中k个隐层神经元的临界点，将其表示为$k^{-1/2}$的幂级数。研究发现，虚假最小值的表现差异显著：部分虚假最小值的损失按$k^{-1}$衰减，而另一些则收敛至一个正常数，表明并非所有虚假最小值在优化行为上都等价。

ABSTRACT

We consider the optimization problem associated with fitting two-layer ReLU networks with $k$ hidden neurons, where labels are assumed to be generated by a (teacher) neural network. We leverage the rich symmetry exhibited by such models to identify various families of critical points and express them as power series in $k^{-\frac{1}{2}}$. These expressions are then used to derive estimates for several related quantities which imply that not all spurious minima are alike. In particular, we show that while the loss function at certain types of spurious minima decays to zero like $k^{-1}$, in other cases the loss converges to a strictly positive constant. The methods used depend on symmetry, the geometry of group actions, bifurcation, and Artin's implicit function theorem.

研究动机与目标

• 理解在教师网络生成的数据上训练的两层ReLU网络中临界点的结构与多样性。
• 基于群作用下的几何与对称性质对临界点进行分类。
• 推导临界点在$k^{-1/2}$幂级数中的渐近展开式，其中$k$为隐层神经元数量。
• 量化不同虚假最小值处损失值的差异，并表明其并非全部很小。
• 确立某些虚假最小值在根本上更差，因其存在持续的非零损失。

提出的方法

• 利用具有k个神经元的ReLU网络内在对称性，通过群作用几何识别临界点族。
• 应用阿廷的隐函数定理，将临界点局部参数化为$k^{-1/2}$的幂级数。
• 利用分支理论分析临界点随$k$增加而出现与演变的过程。
• 推导大$k$极限下临界点及其关联损失值的渐近表达式。
• 分析临界点处的损失函数，比较不同类型虚假最小值之间的衰减速率。
• 利用对称性降低优化景观的维度，从而隔离关键临界构型。

实验结果

研究问题

• RQ1 具有k个神经元的两层ReLU网络的临界点如何依赖于模型的内在对称性？
• RQ2 当$k \to \infty$时，临界点的渐近行为如何？它们能否被参数化？
• RQ3 所有虚假最小值是否导致相似的损失值，还是在优化质量上存在显著差异？
• RQ4 虚假最小值处的损失是否可由不同的衰减速率表征？若是，这些速率由什么决定？
• RQ5 群作用的几何结构在组织浅层ReLU网络临界点结构方面起到何种作用？

主要发现

• 两层ReLU网络中的临界点根据对称性被划分为不同的族，每族均可表示为$k^{-1/2}$的幂级数展开。
• 某些虚假最小值的损失随$k^{-1}$衰减至零，表明在大$k$极限下具有有利的优化特性。
• 相比之下，其他虚假最小值的损失收敛至严格为正的常数，表明存在持续的优化误差。
• 这些结果表明，虚假最小值并非都同样具有问题——在最终损失方面，某些虚假最小值显著劣于其他。
• 利用对称性与阿廷隐函数定理，实现了对非凸、高维优化景观中临界点的严格渐近分析。
• 群作用的几何结构为理解浅层神经网络中临界点的组织结构与多样性提供了结构性框架。