[论文解读] On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization

Wei Huang, Weitao Du+1 more|arXiv (Cornell University)|Apr 13, 2020

Model Reduction and Neural Networks参考文献 36被引用 13

一句话总结

本文通过神经正切核（NTK）的视角研究正交初始化在深度神经网络中的作用，证明在无限宽度极限下，正交初始化的网络收敛到与高斯初始化相同的NTK，意味着在NTK（懒惰训练）范式下不存在训练加速。然而，实证结果表明，正交初始化在NTK范式之外显著加速了训练，特别是在大学习率或深层网络架构中，当非线性激活函数中实现线性行为时尤为明显。

ABSTRACT

The prevailing thinking is that orthogonal weights are crucial to enforcing dynamical isometry and speeding up training. The increase in learning speed that results from orthogonal initialization in linear networks has been well-proven. However, while the same is believed to also hold for nonlinear networks when the dynamical isometry condition is satisfied, the training dynamics behind this contention have not been thoroughly explored. In this work, we study the dynamics of ultra-wide networks across a range of architectures, including Fully Connected Networks (FCNs) and Convolutional Neural Networks (CNNs) with orthogonal initialization via neural tangent kernel (NTK). Through a series of propositions and lemmas, we prove that two NTKs, one corresponding to Gaussian weights and one to orthogonal weights, are equal when the network width is infinite. Further, during training, the NTK of an orthogonally-initialized infinite-width network should theoretically remain constant. This suggests that the orthogonal initialization cannot speed up training in the NTK (lazy training) regime, contrary to the prevailing thoughts. In order to explore under what circumstances can orthogonality accelerate training, we conduct a thorough empirical investigation outside the NTK regime. We find that when the hyper-parameters are set to achieve a linear regime in nonlinear activation, orthogonal initialization can improve the learning speed with a large learning rate or large depth.

研究动机与目标

• 探究正交初始化是否在非线性网络的线性行为之外仍能加速训练。
• 分析在无限宽度极限下，正交初始化对神经正切核（NTK）行为的影响。
• 比较全连接网络（FCNs）和卷积神经网络（CNNs）中正交初始化与高斯初始化网络的NTK动态特性。
• 识别正交初始化在何种条件下能实现更快收敛，尤其是在线性化NTK范式之外。
• 调和理论化的NTK分析与正交初始化带来训练加速的实证观察。

提出的方法

• 利用随机矩阵理论和自由概率论，对无限宽度极限下正交初始化深度网络的NTK进行理论分析。
• 证明正交初始化网络的NTK收敛至与高斯初始化网络相同的极限，且在无限宽度范式下训练过程中保持恒定。
• 将现有NTK收敛结果扩展至全连接网络（FCNs）和卷积神经网络（CNNs）中的正交权重初始化。
• 使用Stein方法和可交换对技术，对预激活范数进行有界控制并调控Hessian矩阵的变化。
• 通过在CIFAR10上使用全批量梯度下降，对不同深度、宽度、学习率和初始化方式的训练动态进行实证评估。
• 在多种架构和超参数设置下，比较正交初始化与高斯初始化网络的学习速度与泛化性能。

实验结果

研究问题

• RQ1 在无限宽度极限下，正交初始化的深层网络与高斯初始化相比，其NTK是否不同？
• RQ2 在无限宽度下，正交初始化网络的NTK在训练过程中是否保持恒定，如同高斯初始化情况一样？
• RQ3 在NTK范式中，即网络在初始化附近表现为线性时，正交初始化能否加速训练？
• RQ4 在何种条件下（如大学习率或深层结构）下，正交初始化能在线性化NTK范式之外提升训练速度？
• RQ5 在深层、宽网络架构中，正交初始化网络与高斯初始化网络在收敛速度和泛化性能方面表现如何？

主要发现

• 在无限宽度极限下，正交初始化深层网络的NTK收敛至与高斯初始化网络相同的极限，意味着在NTK范式下无理论优势。
• 在无限宽度下，正交初始化网络的NTK在训练过程中保持恒定，与高斯初始化网络的懒惰训练行为一致。
• 实证结果表明，当学习率较大或网络极深时，正交初始化相比高斯初始化能实现更快收敛，尤其是在NTK范式之外。
• 随着网络深度增加，正交初始化与高斯初始化之间的性能差距扩大，尤其体现在训练速度和最终泛化准确率方面。
• 当超参数被调整以在非线性激活函数中实现线性行为时，正交初始化能改善训练动态。
• 在大学习率和深层网络范式下，正交初始化网络收敛更快且测试准确率高于其高斯初始化对应网络。