[论文解读] Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics.

Justin Sahs, Ryan Pyle+5 more|arXiv (Cornell University)|Aug 4, 2020

Model Reduction and Neural Networks参考文献 22被引用 6

一句话总结

本文将浅层单变量ReLU网络重新解释为连续分段线性（CPWL）样条，揭示了权重初始化因低方差的斜率增量分布而诱导出极平坦的函数。样条视角揭示了平坦最小值源于断点退化，且在过参数化网络中的隐式正则化源于平坦初始化、基于曲率的参数化以及梯度流——提供了与核方法分析互补的透明几何解释。

ABSTRACT

Understanding the learning dynamics and inductive bias of neural networks (NNs) is hindered by the opacity of the relationship between NN parameters and the function represented. We propose reparametrizing ReLU NNs as continuous piecewise linear splines. Using this spline lens, we study learning dynamics in shallow univariate ReLU NNs, finding unexpected insights and explanations for several perplexing phenomena. We develop a surprisingly simple and transparent view of the structure of the loss surface, including its critical and fixed points, Hessian, and Hessian spectrum. We also show that standard weight initializations yield very flat functions, and that this flatness, together with overparametrization and the initial weight scale, is responsible for the strength and type of implicit regularization, consistent with recent work arXiv:1906.05827. Our implicit regularization results are complementary to recent work arXiv:1906.07842, done independently, which showed that initialization scale critically controls implicit regularization via a kernel-based argument. Our spline-based approach reproduces their key implicit regularization results but in a far more intuitive and transparent manner. Going forward, our spline-based approach is likely to extend naturally to the multivariate and deep settings, and will play a foundational role in efforts to understand neural networks. Videos of learning dynamics using a spline-based visualization are available at http://shorturl.at/tFWZ2.

研究动机与目标

• 理解浅层单变量ReLU网络的归纳偏差与学习动态，这些在标准参数化下仍不清晰。
• 通过分析损失曲面的功能结构，解决过参数化网络中泛化悖论。
• 通过样条重参数化，提供一种几何透明的视角，用于解释隐式正则化，特别是权重初始化尺度的作用。
• 以断点与斜率增量演化为基准，表征Hessian矩阵、临界点与梯度流动力学。

提出的方法

• 使用断点（βi）、斜率增量（µi）与方向（si）将全连接ReLU网络重参数化为CPWL样条，将网络权重映射为函数参数。
• 通过梯度流推导斜率增量µi(t)的时间演化，表明µi(t) = ∫₀ᵗ ⟨ϵ(t), (x−βi)si⟩ dt，将权重更新与函数变化联系起来。
• 分析临界点处损失的Hessian矩阵，证明其为半正定，当断点Gram矩阵秩亏时时出现零特征值。
• 证明在无限宽度极限下，二阶导数 ˆf′′(x) 变为以数据点为节点的分段线性函数，收敛于自然样条平滑样条。
• 在H→∞极限下使用黎曼和近似，表明最小化∑µi²等价于最小化∫(f′′(x))²dx，将权重衰减与平滑性联系起来。
• 确立初始化尺度α控制隐式正则化类型（如核范式与丰富范式），虽对函数无功能影响，但具有显著的梯度效应。

实验结果

研究问题

• RQ1 为何过参数化ReLU网络在训练误差为零时仍能良好泛化，初始化在此过程中扮演何种角色？
• RQ2 损失曲面的结构——尤其是其临界点与Hessian矩阵——如何从网络的功能参数化中产生？
• RQ3 浅层ReLU网络中隐式正则化的功能解释是什么，其与权重初始化尺度有何关联？
• RQ4 梯度流动力学如何保持或正则化初始函数形式，尤其是在过参数化情形下？
• RQ5 样条重参数化能否解释在无限宽度极限下自然样条的出现？

主要发现

• 标准权重初始化导致初始函数极度平坦，因为斜率增量分布均值为0且方差低，且随着宽度增加，分布更趋近于0。
• 临界点处损失的Hessian矩阵为半正定，当断点Gram矩阵线性相关时出现零特征值——这在多个断点共享相同活跃数据时常见。
• 平坦最小值并非局部现象，而是源于全局退化：当断点在其活跃数据区域线性相关时，损失曲面在多个方向上变得平坦。
• 过参数化ReLU网络中的隐式正则化源于三个因素：平坦初始化、基于曲率的参数化（断点与斜率增量）以及梯度下降对初始函数结构的保持与正则化。
• 初始化尺度α控制隐式正则化类型，较大的α倾向于生成更丰富、更不光滑的函数，而较小的α则促进更平滑、类似核的行为。
• 在无限宽度极限下，学习到的函数收敛于一个自然样条平滑样条，其最小化∫(f′′(x))²dx，且满足在数据点处插值，确认了基于样条的正则化机制。