[论文解读] PCA of high dimensional random walks with comparison to neural network training

Joseph M. Antognini, Jascha Sohl‐Dickstein|arXiv (Cornell University)|Jun 22, 2018

Neural Networks and Applications被引用 11

一句话总结

本文分析了高维随机游走的主成分分析（PCA），并将其与神经网络训练轨迹进行比较。研究证明，在高维空间中，大部分方差集中在前几个PCA成分中，且投影轨迹呈现Lissajous曲线形状；实验表明，ResNet-50与CIFAR-10上的线性模型表现出与带漂移的随机游走相似的PCA方差分布和轨迹形态，表明随机梯度下降（SGD）的优化动力学在高维参数空间中类似于随机游走。

ABSTRACT

One technique to visualize the training of neural networks is to perform PCA on the parameters over the course of training and to project to the subspace spanned by the first few PCA components. In this paper we compare this technique to the PCA of a high dimensional random walk. We compute the eigenvalues and eigenvectors of the covariance of the trajectory and prove that in the long trajectory and high dimensional limit most of the variance is in the first few PCA components, and that the projection of the trajectory onto any subspace spanned by PCA components is a Lissajous curve. We generalize these results to a random walk with momentum and to an Ornstein-Uhlenbeck processes (i.e., a random walk in a quadratic potential) and show that in high dimensions the walk is not mean reverting, but will instead be trapped at a fixed distance from the minimum. We finally compare the distribution of PCA variances and the PCA projected training trajectories of a linear model trained on CIFAR-10 and ResNet-50-v2 trained on Imagenet and find that the distribution of PCA variances resembles a random walk with drift.

研究动机与目标

• 理解主成分分析（PCA）应用于高维神经网络训练轨迹时的统计特性。
• 研究高维空间中的随机游走是否可以建模神经网络优化的几何结构。
• 确定神经网络权重的PCA投影是否与随机游走相似，尤其是特征值分布和轨迹形态方面。
• 将结论推广至带动量的随机游走和Ornstein-Uhlenbeck过程，以更贴近SGD的建模。
• 通过在CIFAR-10和ImageNet上训练的线性模型与ResNet-50-v2的实证PCA分析，验证理论结果。

提出的方法

• 在平坦空间中，对高维随机游走的PCA特征值与特征向量进行形式推导，假设增量为零均值的独立同分布（i.i.d.）随机变量。
• 证明在高维与长轨迹极限下，大部分方差由前几个PCA成分捕获。
• 通过解析方法证明，由于协方差矩阵的谐波结构，轨迹在PCA子空间上的投影形成Lissajous曲线。
• 将模型推广至带动量的随机游走和Ornstein-Uhlenbeck过程（即在二次势场中趋向最小值的随机过程）。
• 对在CIFAR-10上训练的ResNet-50-v2与线性模型的PCA方差分布和投影轨迹进行实证比较，与理论随机游走模型相对照。
• 使用30,000维的随机高斯投影，以实现对高参数量模型（如ResNet-50-v2）的PCA分析。

实验结果

研究问题

• RQ1 神经网络训练轨迹的PCA方差分布是否与高维随机游走一致？
• RQ2 神经网络参数在PCA子空间中的投影轨迹是否在定性上与Lissajous曲线相似，如同在随机游走中所见？
• RQ3 带动量的随机游走与二次势场中的随机游走，在PCA特性方面与神经网络训练动力学相比如何？
• RQ4 ResNet-50-v2参数的PCA在多大程度上类似于带漂移的随机游走，尤其是在第一PCA成分中？
• RQ5 在PCA投影下，模型的完整训练轨迹在多大程度上可由步长衰减的随机游走近似？

主要发现

• 在高维与长轨迹极限下，前几个PCA成分捕获了随机游走的大部分方差，与神经网络训练中的观察结果一致。
• 由于协方差矩阵的谐波结构，随机游走轨迹在任意PCA子空间上的投影均形成Lissajous曲线。
• 对于带动量的随机游走和Ornstein-Uhlenbeck过程，轨迹在高维中保持非均值回归特性，并稳定在距离最小值的固定距离处。
• 在CIFAR-10上训练的线性模型的PCA方差分布与Ornstein-Uhlenbeck过程非常相似，尤其在训练中期。
• ResNet-50-v2的PCA方差分布主要由第一成分主导，尤其是在训练末期，表明存在强烈的定向漂移，与带漂移的随机游走一致。
• 线性模型与ResNet-50-v2在PCA子空间中的投影轨迹强烈类似于随机游走，仅存在微小偏差，如在训练起始和结束时第一成分出现轻微外偏。