[论文解读] Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks

Wei Hu, Lechao Xiao+1 more|arXiv (Cornell University)|Jan 16, 2020

Speech Recognition and Synthesis参考文献 30被引用 60

一句话总结

这篇论文证明正交初始化能够加速深度线性网络中梯度下降的收敛，且宽度要求与深度无关；这与高斯初始化不同，后者的宽度必须随深度增长。

ABSTRACT

The selection of initial parameter values for gradient-based optimization of deep neural networks is one of the most impactful hyperparameter choices in deep learning systems, affecting both convergence times and model performance. Yet despite significant empirical and theoretical analysis, relatively little has been proved about the concrete effects of different initialization schemes. In this work, we analyze the effect of initialization in deep linear networks, and provide for the first time a rigorous proof that drawing the initial weights from the orthogonal group speeds up convergence relative to the standard Gaussian initialization with iid weights. We show that for deep networks, the width needed for efficient convergence to a global minimum with orthogonal initializations is independent of the depth, whereas the width needed for efficient convergence with Gaussian initializations scales linearly in the depth. Our results demonstrate how the benefits of a good initialization can persist throughout learning, suggesting an explanation for the recent empirical successes found by initializing very deep non-linear networks according to the principle of dynamical isometry.

研究动机与目标

• 评估初始化方案如何影响深度线性网络中梯度下降的收敛性。
• 对正交初始化与高斯初始化在收敛速率上的严格比较。
• 在不同初始化下刻画宽度-深度权衡以实现高效训练。

提出的方法

• 分析具有权重矩阵 W1,...,WL 的 L 层深度线性网络的梯度下降动态。
• 以特定缩放对权重进行正交初始化，使 E||f(x;W...W1)||^2 = ||x||^2。
• 证明在正交初始化且宽度足够时，训练损失以与深度无关的速率收敛到全局最小值。
• 与高斯初始化对比，表明对于高斯初始化，所需宽度随深度线性增长以实现高效收敛。
• 使用时变 PSD 矩阵框架跟踪网络输出演化并在训练过程中界定特征值。

实验结果

研究问题

• RQ1 正交初始化是否比高斯初始化加速深度线性网络上梯度下降的收敛？
• RQ2 在正交与高斯初始化下，层宽度（隐藏宽度 m）应如何随深度 L 增长以保证高效收敛？
• RQ3 初始化对收敛速率对深度和宽度的依赖有什么影响？
• RQ4 正交初始化能否实现深度无关的宽度要求以实现高效优化？

主要发现

• 正交初始化在宽度 m 与深度 L 无关的情况下实现高效收敛。
• 高斯初始化需要随深度线性增长的宽度以实现高效收敛（除非深度较小）。
• 在合适的学习率下，采用正交初始化时，损失与最优解之比随迭代呈几何下降。
• 当宽度相对深度不足时，高斯初始化可能导致收敛时间呈指数级增长。
• 实验结果支持理论结论，显示正交初始化的宽度与深度无关，而高斯初始化的宽度随深度相关。