[论文解读] ZerO Initialization: Initializing Neural Networks with only Zeros and Ones

Jiawei Zhao, Florian Schäfer+1 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Neural Network Applications参考文献 10被引用 10

一句话总结

该论文提出ZerO，一种完全确定性的深度神经网络权重初始化方法，仅通过单位矩阵和哈达玛变换使用零和一进行初始化，在无需随机初始化的情况下实现了ImageNet上的最先进性能。ZerO能够在不使用批量归一化的情况下稳定训练超深层网络（例如超过500层），表现出低秩学习轨迹，并生成稀疏、低复杂度的模型，同时提升了可复现性。

ABSTRACT

Deep neural networks are usually initialized with random weights, with adequately selected initial variance to ensure stable signal propagation during training. However, selecting the appropriate variance becomes challenging especially as the number of layers grows. In this work, we replace random weight initialization with a fully deterministic initialization scheme, viz., ZerO, which initializes the weights of networks with only zeros and ones (up to a normalization factor), based on identity and Hadamard transforms. Through both theoretical and empirical studies, we demonstrate that ZerO is able to train networks without damaging their expressivity. Applying ZerO on ResNet achieves state-of-the-art performance on various datasets, including ImageNet, which suggests random weights may be unnecessary for network initialization. In addition, ZerO has many benefits, such as training ultra deep networks (without batch-normalization), exhibiting low-rank learning trajectories that result in low-rank and sparse solutions, and improving training reproducibility.

研究动机与目标

• 探究随机权重初始化是否为训练深度神经网络所必需。
• 解决极深网络中方差选择与梯度消失/爆炸的挑战。
• 开发一种确定性初始化方案，确保稳定的信号传播，避免随机方差调优的需要。
• 探索确定性初始化是否能产生低复杂度、稀疏且可复现的模型。

提出的方法

• ZerO通过单位矩阵和哈达玛变换的确定性应用，仅使用零和一初始化网络权重。
• 该方法在残差块中应用单位矩阵以保持维度，并在维度增加层中使用哈达玛矩阵的列。
• 通过保持无随机扰动下的信号传播稳定性，确保动态等距性。
• 初始化在各层间均匀应用，避免任何随机权重方差调优。
• ZerO利用哈达玛矩阵和单位矩阵的结构，构建完全确定性且归一化的初始化方案。
• 该方法支持无需批量归一化的训练，并可扩展至超深层架构。

实验结果

研究问题

• RQ1 深度神经网络是否可以在完全不使用随机权重初始化的情况下实现有效训练？
• RQ2 仅使用零和一的确定性初始化是否能保持网络的表达能力和泛化性能？
• RQ3 ZerO训练是否能在ImageNet等标准基准上实现最先进性能？
• RQ4 ZerO是否诱导出低秩学习轨迹，并产生稀疏、低复杂度的解？
• RQ5 与随机初始化相比，ZerO是否能提升训练的可复现性？

主要发现

• ZerO在无需随机初始化的情况下实现了ImageNet上的最先进准确率，优于标准方法。
• ZerO可在不使用批量归一化的情况下稳定训练深度残差网络（超过500层）。
• ZerO表现出一种贪婪的低秩学习轨迹，即矩阵秩在训练过程中逐渐增加。
• ZerO训练的模型在核近似中实现25%更高的稀疏性或30%更低的秩，且不损失准确率。
• ZerO通过消除权重初始化中对随机种子的依赖，显著提升了训练可复现性。
• 该方法倾向于收敛至低复杂度解，表明其在剪枝和低秩近似方面具有实现更高效推理的潜力。