[论文解读] Weight-space symmetry in deep networks gives rise to permutation saddles, connected by equal-loss valleys across the loss landscape

Johanni Brea, Berfin Şimşek+2 more|arXiv (Cornell University)|Jul 5, 2019

Stochastic Gradient Optimization Techniques参考文献 27被引用 17

一句话总结

本文引入了排列点——由神经元排列对称性在深度神经网络权重重建空间中产生的关键点——这些点通过平坦且等损失的山谷连接等价的全局最小值。证明了这些点构成高维平台，使得单层内所有神经元排列在相同损失下实现，同时提供了第一类及更高阶鞍点数量的下界，并在小规模模型和MNIST任务中通过数值方法验证。

ABSTRACT

The permutation symmetry of neurons in each layer of a deep neural network gives rise not only to multiple equivalent global minima of the loss function, but also to first-order saddle points located on the path between the global minima. In a network of $d-1$ hidden layers with $n_k$ neurons in layers $k = 1, \ldots, d$, we construct smooth paths between equivalent global minima that lead through a `permutation point' where the input and output weight vectors of two neurons in the same hidden layer $k$ collide and interchange. We show that such permutation points are critical points with at least $n_{k+1}$ vanishing eigenvalues of the Hessian matrix of second derivatives indicating a local plateau of the loss function. We find that a permutation point for the exchange of neurons $i$ and $j$ transits into a flat valley (or generally, an extended plateau of $n_{k+1}$ flat dimensions) that enables all $n_k!$ permutations of neurons in a given layer $k$ at the same loss value. Moreover, we introduce high-order permutation points by exploiting the recursive structure in neural network functions, and find that the number of $K^{ ext{th}}$-order permutation points is at least by a factor $\sum_{k=1}^{d-1}\frac{1}{2!^K}{n_k-K \choose K}$ larger than the (already huge) number of equivalent global minima. In two tasks, we illustrate numerically that some of the permutation points correspond to first-order saddles (`permutation saddles'): first, in a toy network with a single hidden layer on a function approximation task and, second, in a multilayer network on the MNIST task. Our geometric approach yields a lower bound on the number of critical points generated by weight-space symmetries and provides a simple intuitive link between previous mathematical results and numerical observations.

研究动机与目标

• 理解深度网络中权重空间对称性如何塑造损失景观，特别是鞍点与平坦平台的出现。
• 通过分析通过关键点连接等价全局最小值的平滑路径，研究损失景观的拓扑结构。
• 表征排列点的几何与代数性质——即神经元权重碰撞并互换时的关键点。
• 建立由对称性诱导的第一类及更高阶排列点数量的理论下界。
• 通过数值实验表明，排列点表现为一阶鞍点，并可在实际训练场景中通过低损失路径实现。

提出的方法

• 通过引入控制同一隐藏层中两个神经元输入权重向量之间距离的标量约束，构建连接等价全局最小值的平滑路径。
• 将排列点定义为：在第 $k$ 层中，两个神经元的输入权重向量发生碰撞且输出权重完全相同，从而实现索引互换而损失不变的配置。
• 证明排列点是关键点，其海森矩阵至少有 $n_{k+1}$ 个零特征值，表明损失景观中存在平坦方向。
• 通过递归利用神经网络的功能结构，将结果推广至 $K^{ ext{th}}$ 阶排列点，证明其存在于 $Kn_{k+1}$ 维的等损失超平面上。
• 推导出 $K^{ ext{th}}$ 阶排列点数量的下界为 $\sum_{k=1}^{d-1}\frac{1}{2!^{K}}{n_{k}-K\choose K}$，该值远大于等价全局最小值的数量。
• 通过约束优化（如全批量梯度下降在距离约束下）实现低损失路径搜索算法，在小规模模型与MNIST训练的网络中数值上成功抵达排列点。

实验结果

研究问题

• RQ1 深度网络中的排列对称性如何导致非全局最小值的关键点？其几何结构如何？
• RQ2 是否能通过某种连续路径在相同损失值下实现单个隐藏层内所有神经元排列？若能，路径形式为何？
• RQ3 包含排列点的平坦平台（或损失山谷）的维度是多少？其与后续层神经元数量有何关系？
• RQ4 深度网络中第一类及更高阶排列点的数量是多少？能否推导其数量的下界？
• RQ5 在实际训练中，排列点是否表现为一阶鞍点？能否通过低损失优化路径实现？

主要发现

• 当两个神经元的输入权重向量发生碰撞且输出权重相同时，排列点为关键点，其海森矩阵至少有 $n_{k+1}$ 个零特征值，表明损失景观中存在平坦方向。
• 由于 $K^{ ext{th}}$ 阶点处存在 $Kn_{k+1}$ 维的等损失配置超平面，所有 $n_k!$ 种神经元在第 $k$ 层的排列均可通过仅经过一个排列点的路径实现，且损失保持不变。
• $K^{ ext{th}}$ 阶排列点的数量下界为 $\sum_{k=1}^{d-1}\frac{1}{2!^{K}}{n_{k}-K\choose K}$，其增长速度远快于等价全局最小值的数量。
• 在单隐藏层的小型网络及在MNIST上训练的三层网络上的数值实验表明，排列点确实表现为一阶鞍点：沿路径向排列点移动时损失单调上升，符合鞍点行为特征。
• 排列点处的损失屏障（即鞍点处的损失）随网络宽度 $H$ 增大而减小，与先前关于全局最小值间损失屏障的理论结果一致。
• 在从训练点切换至排列点的过程中，训练准确率几乎保持不变，表明该路径穿越了损失景观中的平坦区域，未造成显著性能下降。