[论文解读] Pure and Spurious Critical Points: a Geometric Study of Linear Networks

Matthew Trager, Kathlén Kohn+1 more|arXiv (Cornell University)|Oct 3, 2019

Graph theory and applications参考文献 23被引用 4

一句话总结

本文提出了一种几何框架，用以区分源自线性网络函数空间的纯临界点与由参数化引起的虚假临界点。研究证明，对于能够表达所有线性映射的填充架构（filling architectures），任意光滑凸损失函数均无不良局部极小值；而对于具有秩约束函数空间的非填充架构（non-filling architectures），仅二次损失函数因行列式簇的特殊几何性质而保证无不良极小值。

ABSTRACT

The critical locus of the loss function of a neural network is determined by the geometry of the functional space and by the parameterization of this space by the network's weights. We introduce a natural distinction between pure critical points, which only depend on the functional space, and spurious critical points, which arise from the parameterization. We apply this perspective to revisit and extend the literature on the loss function of linear neural networks. For this type of network, the functional space is either the set of all linear maps from input to output space, or a determinantal variety, i.e., a set of linear maps with bounded rank. We use geometric properties of determinantal varieties to derive new results on the landscape of linear networks with different loss functions and different parameterizations. Our analysis clearly illustrates that the absence of "bad" local minima in the loss landscape of linear networks is due to two distinct phenomena that apply in different settings: it is true for arbitrary smooth convex losses in the case of architectures that can express all linear maps ("filling architectures") but it holds only for the quadratic loss when the functional space is a determinantal variety ("non-filling architectures"). Without any assumption on the architecture, smooth convex losses may lead to landscapes with many bad minima.

研究动机与目标

• 为长期存在的难题提供解释：为何线性网络尽管具有非凸性，却常能避免不良局部极小值。
• 正式区分源于函数空间的临界点（纯临界点）与源于参数化过程的临界点（虚假临界点）。
• 通过代数几何，特别是行列式簇，分析线性网络的损失景观。
• 阐明在何种条件下，光滑凸损失函数在线性网络中不产生非全局极小值。
• 通过识别两种不同的几何机制，统一先前关于线性网络优化的研究成果。

提出的方法

• 引入损失函数的分解结构：参数空间 → 函数空间 → R，其中函数空间为线性映射的集合。
• 将纯临界点定义为仅由函数空间几何结构决定的临界点，而虚假临界点则为参数化映射带来的产物。
• 通过分析矩阵乘法的微分，刻画线性网络中的临界点。
• 运用代数几何工具研究行列式簇（秩约束的线性映射），特别是其奇点与曲率特性。
• 应用舒尔补（Schur complements）与特征值分析，计算海森矩阵的特征多项式并统计负特征值个数。
• 通过显式计算特征多项式，推导出海森矩阵无负特征值（即无不良局部极小值）的条件。

实验结果

研究问题

• RQ1 线性网络中为何缺乏非全局局部极小值？这一现象是否在所有损失函数下均成立？
• RQ2 函数空间的几何特性（如行列式簇）如何影响损失景观？
• RQ3 在何种情形下虚假临界点占主导地位？又在何种情形下它们会消失？
• RQ4 为何在非填充架构中，二次损失可避免不良极小值，而其他凸损失则不能？
• RQ5 纯临界点与虚假临界点的区分能否解释先前关于线性网络优化的研究成果？

主要发现

• 对于填充架构（网络可表达所有线性映射），任意光滑凸损失函数均无不良局部极小值。
• 对于非填充架构（函数空间为行列式簇），仅二次损失函数能保证无不良局部极小值。
• 在二次损失情形下，不良极小值的缺失源于行列式簇的特殊几何性质，而非一般凸性。
• 对于非填充架构上的任意光滑凸损失，损失景观可能包含大量非全局局部极小值。
• 海森矩阵的负特征值个数（指示不良局部极小值）由输入层与输出层相对奇异值决定。
• 显式计算了海森矩阵的特征多项式，并通过奇异值的代数分析，统计了对应于不良局部极小值的负根个数。