[论文解读] Whiteout: Gaussian Adaptive Noise Regularization in FeedForward Neural Networks

Yinan Li, Fang Liu|arXiv (Cornell University)|Dec 5, 2016

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文提出Whiteout，一种新颖的高斯自适应噪声正则化技术，用于前馈神经网络，可在不依赖$ l_2 $正则化的情况下实现$ l_\nu $稀疏性正则化（$ \nu \to (0,2) $）。该方法建立了扰动经验损失向理想损失收敛的理论基础，相较于Dropout和Shakeout，展现出更优的鲁棒性与泛化能力，尤其在小样本数据集上表现突出。

ABSTRACT

Noise injection (NI) is an efficient technique to mitigate over-fitting in neural networks (NNs). The Bernoulli NI procedure as implemented in dropout and shakeout has connections with $l_1$ and $l_2$ regularization for the NN model parameters. We propose whiteout, a family NI regularization techniques (NIRT) through injecting adaptive Gaussian noises during the training of NNs. Whiteout is the first NIRT than imposes a broad range of the $l_{\gamma}$ sparsity regularization $(\gamma\in(0,2))$ without having to involving the $l_2$ regularization. Whiteout can also be extended to offer regularizations similar to the adaptive lasso and group lasso. We establish the regularization effect of whiteout in the framework of generalized linear models with closed-form penalty terms and show that whiteout stabilizes the training of NNs with decreased sensitivity to small perturbations in the input. We establish that the noise-perturbed empirical loss function (pelf) with whiteout converges almost surely to the ideal loss function (ilf), and the minimizer of the pelf is consistent for the minimizer of the ilf. We derive the tail bound on the pelf to establish the practical feasibility in its minimization. The superiority of whiteout over the Bernoulli NIRTs, dropout and shakeout, in learning NNs with relatively small-sized training sets and non-inferiority in large-sized training sets is demonstrated in both simulated and real-life data sets. This work represents the first in-depth theoretical, methodological, and practical examination of the regularization effects of both additive and multiplicative Gaussian NI in deep NNs.

研究动机与目标

• 开发一种噪声注入正则化技术，实现灵活的$ l_\nu $稀疏性正则化（$ \nu \in (0,2) $），且无需依赖$ l_2 $正则化。
• 为深度神经网络中的高斯噪声注入建立理论基础，特别是在扰动经验损失的收敛性与一致性方面。
• 通过自适应噪声注入提升模型稳定性，降低对输入扰动的敏感性。
• 对Whiteout与现有基于伯努利分布的噪声注入技术（如Dropout和Shakeout）进行方法论与实证比较。
• 将框架扩展以支持类似于自适应Lasso和组Lasso的正则化形式。

提出的方法

• 提出Whiteout作为一类噪声注入正则化技术（NIRT），在神经网络训练过程中注入自适应高斯噪声。
• 在广义线性模型框架下推导出闭式惩罚项，将噪声方差与正则化效果关联。
• 在温和条件下证明，噪声扰动的经验损失函数（pelf）几乎必然收敛于理想损失函数（ilf）。
• 证明pelf的最小化器对ilf的最小化器是一致的，确保优化的可靠性。
• 推导出pelf的尾部界，以保证最小化扰动损失的实际可行性。
• 通过适当的噪声方差调度策略，将方法扩展以支持类似于自适应Lasso和组Lasso的正则化形式。

实验结果

研究问题

• RQ1 自适应高斯噪声注入是否能在不依赖$ l_2 $正则化的情况下，实现$ l_\nu $稀疏性正则化（$ \nu \in (0,2) $）？
• RQ2 Whiteout下的扰动经验损失函数是否几乎必然收敛于理想损失函数，且其最小化器是否一致？
• RQ3 在小规模训练数据集上，Whiteout与基于伯努利分布的NIRT（如Dropout和Shakeout）在泛化性能方面有何差异？
• RQ4 与现有方法相比，Whiteout是否能提升训练稳定性并降低对输入扰动的敏感性？
• RQ5 Whiteout在多大程度上可被扩展以模拟自适应Lasso和组Lasso的正则化效果？

主要发现

• Whiteout在不依赖$ l_2 $正则化的情况下，实现了$ \nu \in (0,2) $范围内的$ l_\nu $稀疏性正则化，其正则化范围广于标准的Dropout或Shakeout。
• 在Whiteout下，扰动经验损失函数（pelf）几乎必然收敛于理想损失函数（ilf），确保了理论上的鲁棒性。
• pelf的最小化器对ilf的最小化器是一致的，验证了该方法在优化过程中的可靠性。
• 在相对较小规模的训练数据集上，Whiteout在学习神经网络方面表现优于Dropout和Shakeout。
• 在大规模训练数据集上，Whiteout的性能不劣于现有方法，表明其具备强大的泛化稳定性。
• Whiteout通过降低对微小输入扰动的敏感性，提升了模型鲁棒性，增强了训练稳定性。