[论文解读] Neural Network Regularization via Robust Weight Factorization

Jan Rudy, Wei‐Guang Ding+2 more|arXiv (Cornell University)|Dec 20, 2014

Neural Networks and Applications参考文献 25被引用 4

一句话总结

该论文提出了一种名为 FaMe（分解均值）的新型神经网络正则化方法，通过将权重矩阵分解为鲁棒的组成部分，实现子网络集合的高效训练。与 Dropout 不同，FaMe 学习的是对噪声鲁棒的因子，从而在有效参数更少的情况下实现更好的泛化性能，并隐式施加权重衰减，即使参数量减少一个数量级，其性能仍优于 Dropout。

ABSTRACT

Regularization is essential when training large neural networks. As deep neural networks can be mathematically interpreted as universal function approximators, they are effective at memorizing sampling noise in the training data. This results in poor generalization to unseen data. Therefore, it is no surprise that a new regularization technique, Dropout, was partially responsible for the now-ubiquitous winning entry to ImageNet 2012 by the University of Toronto. Currently, Dropout (and related methods such as DropConnect) are the most effective means of regularizing large neural networks. These amount to efficiently visiting a large number of related models at training time, while aggregating them to a single predictor at test time. The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors are robust to noise.

研究动机与目标

• 通过提升模型泛化能力来解决大型神经网络中的过拟合问题，且不增加模型复杂度。
• 开发一种正则化技术，能够在训练过程中高效访问大量子网络，类似于 Dropout，但具有更高的参数效率。
• 通过学习对噪声鲁棒的权重因子，在测试时实现准确的模型平均，避免 Dropout 下稀疏激活带来的局限性。
• 探究低秩权重分解是否能隐式正则化模型并减少过拟合，即使没有显式的权重衰减。

提出的方法

• FaMe 将每个权重矩阵 $\mathbf{W}^{(l)}$ 分解为两个低秩矩阵 $\mathbf{V}^{(l)}$ 和 $\mathbf{U}^{(l)}$，使得 $\mathbf{W}^{(l)} = \mathbf{V}^{(l)}\mathbf{U}^{(l)}$。
• 在训练过程中，向因子矩阵 $\mathbf{U}^{(l)}$ 施加乘法噪声，以模拟随机子网络，从而实现对大规模模型族的探索。
• 测试时的预测结果作为学习到的因子的确定性函数计算，近似所有噪声子网络预测的几何平均。
• 该方法通过约束隐含权重矩阵 $\mathbf{W} = \mathbf{V}\mathbf{U}$ 的 $L_2$ 范数，即使没有显式的 $L_2$ 惩罚，也能隐式正则化模型。
• 分解结构允许通过降低秩来控制模型容量，从而实现参数高效的架构设计。
• 该方法基于一个核心思想：鲁棒的分解能够实现比标准 Dropout 更有效的集成平均。

实验结果

研究问题

• RQ1 能否训练一个分解后的权重矩阵，使其组件对噪声具有鲁棒性，从而实现比标准 Dropout 更好的泛化性能？
• RQ2 FaMe 的测试过程是否能准确近似所有训练过程中访问的子网络预测的几何平均？
• RQ3 FaMe 在多大程度上隐式施加了 $L_2$ 权重衰减？与 Dropout 相比如何？
• RQ4 当使用显著更少的有效参数时，FaMe 是否能实现优于 Dropout 的性能？
• RQ5 ReLU 激活在 Dropout 下的稀疏性如何影响实际访问的模型数量？FaMe 是否能缓解此问题？

主要发现

• FaMe 训练能像 Dropout 一样有效防止过拟合，测试损失在整个训练过程中持续下降，而无需早停。
• FaMe 测试时的预测结果与真实子网络预测的几何平均值高度接近，经基于采样的估计验证。
• 即使有效参数数量减少一个数量级，FaMe 模型在泛化性能上仍优于标准 Dropout 模型。
• FaMe 隐式施加的 $L_2$ 权重衰减强于 Dropout，表现为隐含权重矩阵的 $L_2$ 范数在训练过程中下降得更快。
• FaMe 子网络预测的算术平均略优于几何平均，提示对平均过程仍有进一步优化的空间。
• 该方法表明，权重的低秩分解可作为一种有效的正则化机制，减少冗余并提升泛化能力。