[论文解读] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach

Ryo Karakida, Shotaro Akaho+1 more|arXiv (Cornell University)|Jun 4, 2018

Neural Networks and Applications参考文献 46被引用 50

一句话总结

论文推导了深度网络在权重随机且宽度很大时，Fisher信息矩阵（FIM）的普遍渐近统计，显示许多特征值接近零而少数特征值非常大，并将其与学习策略联系起来。

ABSTRACT

The Fisher information matrix (FIM) is a fundamental quantity to represent the characteristics of a stochastic model, including deep neural networks (DNNs). The present study reveals novel statistics of FIM that are universal among a wide class of DNNs. To this end, we use random weights and large width limits, which enables us to utilize mean field theories. We investigate the asymptotic statistics of the FIM's eigenvalues and reveal that most of them are close to zero while the maximum eigenvalue takes a huge value. Because the landscape of the parameter space is defined by the FIM, it is locally flat in most dimensions, but strongly distorted in others. Moreover, we demonstrate the potential usage of the derived statistics in learning strategies. First, small eigenvalues that induce flatness can be connected to a norm-based capacity measure of generalization ability. Second, the maximum eigenvalue that induces the distortion enables us to quantitatively estimate an appropriately sized learning rate for gradient methods to converge.

研究动机与目标

• 在广泛、随机初始化的深度神经网络中，利用Fisher信息矩阵（FIM）为参数空间提供一个普遍的几何视角。
• 在大宽度极限下通过平均场理论导出FIM特征值的渐近统计（均值、方差、最大值）。
• 展示宏观的、逐层变量如何通过递归关系支配FIM统计。
• 探索对学习的实际影响，包括Fisher-Rao范数的解释和对梯度方法的学习率指导。

提出的方法

• 采用具有较大宽度的随机连接，并保持逐层宽度比固定以实现平均场分析。
• 通过前向/反向传播递归定义并计算宏观序参量（hat{q}^l、hat{q}_{st}^l、tilde{q}^l、tilde{q}_{st}^l）。
• 使用对偶矩阵F^*来在大M极限下推导FIM的特征值统计。
• 给出定理1–4，将均值、二阶矩和最大特征值用宏观变量表示。
• 将FIM统计通过定理5（Fisher-Rao范数）和定理7（临界学习率）与学习策略联系起来。

实验结果

研究问题

• RQ1 深度网络在权重随机的情况下，FIM特征值是否具有跨结构的普遍渐近统计？
• RQ2 FIM的均值、方差和最大特征值如何随网络宽度和深度进行尺度化？
• RQ3 宏观的平均场变量是否可以通过逐层递归完全决定FIM统计？
• RQ4 FIM推导的统计量如何为泛化能力量测和实际学习率提供信息？
• RQ5 FIM几何对优化方法（如自然梯度或带动量的SGD）有何含义？

主要发现

• FIM特征值的均值随之量纲为 m_{lambda} = C kappa_{1} / M，随M消失为O(1/M)。
• 二阶矩 s_{lambda} 为O(1)，指示存在大量接近零的特征值但尾部较重的偏斜分布。
• 最大特征值的尺度为 lambda_max = alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M，表明存在一个大型的主导方向。
• Fisher-Rao范数在大宽度极限下可被界定且主要由 kappa_{1} 控制（定理5）。
• 出现一个学习率界限：eta_c = 2(1+mu) / ( alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M )，用于收敛性指导（定理7）。
• 理论与在 tanh、ReLU、线性激活在大M时的实验一致。