[论文解读] Projection Based Weight Normalization for Deep Neural Networks

Lei Huang, Xianglong Liu+2 more|arXiv (Cornell University)|Oct 6, 2017

Advanced Neural Network Applications参考文献 32被引用 14

一句话总结

本文提出基于投影的权重归一化（PBWN），通过将每个神经元的输入权重投影到正交流形上，将其约束为单位范数，从而在深度神经网络中提升优化稳定性和性能。PBWN增强了泛化能力，并与批量归一化兼容，计算开销极低，在CIFAR-10、CIFAR-100、SVHN、ImageNet以及半监督Ladder网络上均优于先前方法。

ABSTRACT

Optimizing deep neural networks (DNNs) often suffers from the ill-conditioned problem. We observe that the scaling-based weight space symmetry property in rectified nonlinear network will cause this negative effect. Therefore, we propose to constrain the incoming weights of each neuron to be unit-norm, which is formulated as an optimization problem over Oblique manifold. A simple yet efficient method referred to as projection based weight normalization (PBWN) is also developed to solve this problem. PBWN executes standard gradient updates, followed by projecting the updated weight back to Oblique manifold. This proposed method has the property of regularization and collaborates well with the commonly used batch normalization technique. We conduct comprehensive experiments on several widely-used image datasets including CIFAR-10, CIFAR-100, SVHN and ImageNet for supervised learning over the state-of-the-art convolutional neural networks, such as Inception, VGG and residual networks. The results show that our method is able to improve the performance of DNNs with different architectures consistently. We also apply our method to Ladder network for semi-supervised learning on permutation invariant MNIST dataset, and our method outperforms the state-of-the-art methods: we obtain test errors as 2.52%, 1.06%, and 0.91% with only 20, 50, and 100 labeled samples, respectively.

研究动机与目标

• 为解决由基于缩放的权重空间对称性引起的深度神经网络优化中的病态条件问题。
• 通过将输入权重约束为单位范数，确保海森矩阵条件更好，从而提升训练稳定性和泛化能力。
• 开发一种高效、与数据无关的权重归一化方法，可无缝集成到批量归一化中。
• 在多种架构和数据集上（包括监督与半监督学习设置）展示一致的性能提升。

提出的方法

• 该方法将权重优化表述为在正交流形上的约束问题，其中每个神经元的输入权重向量被约束为单位范数。
• 采用两步更新：先执行标准随机梯度下降，然后将更新后的权重投影回正交流形。
• 投影确保每次更新后输入权重向量保持单位范数，从而维持正则化效果。
• 该方法隐式实现自适应权重衰减，具有动态正则化因子，提升优化稳定性。
• 与批量归一化兼容，无需梯度裁剪或特殊动量调整。
• 该方法计算高效，与标准训练相比引入的开销可忽略不计。

实验结果

研究问题

• RQ1 将输入权重约束为单位范数是否能缓解ReLU网络中由基于缩放的权重空间对称性引起的病态条件问题？
• RQ2 与权重衰减、最大范数和批量归一化等现有归一化技术相比，基于投影的权重归一化在泛化能力和训练稳定性方面表现如何？
• RQ3 PBWN是否能在无需架构或超参数修改的情况下，提升多种深度学习架构的性能？
• RQ4 在标注数据有限的情况下，PBWN是否能在半监督学习设置中提升性能？
• RQ5 PBWN与批量归一化如何相互作用？是否提供互补优势？

主要发现

• PBWN在多种最先进架构（包括Inception、VGG和残差网络）上，均提升了CIFAR-10、CIFAR-100、SVHN和ImageNet的测试准确率。
• 在排列不变MNIST数据集上，PBWN分别使用20、50和100个标注样本时，测试误差达到2.52%、1.06%和0.91%，优于当前最先进的半监督方法。
• 该方法引入的计算开销可忽略不计，适用于大规模训练。
• PBWN隐式提供自适应正则化，类似于权重衰减，但能更好地改善海森矩阵的条件。
• PBWN与批量归一化兼容良好，无需额外超参数调优或梯度裁剪。
• 实验结果表明，PBWN在有效性和计算效率方面均优于权重归一化。