[论文解读] On the Inherent Regularization Effects of Noise Injection During Training

Oussama Dhifallah, Yue M. Lu|arXiv (Cornell University)|Feb 15, 2021

Gaussian Processes and Bayesian Inference参考文献 39被引用 13

一句话总结

本文针对随机特征模型中训练数据的噪声注入提供了理论分析，证明高斯噪声注入在渐近意义上等价于加权岭正则化。关键结果表明，随着噪声注入次数的增加，正则化效果等价于向学习目标中添加一个特定的、可解析推导的岭惩罚项。

ABSTRACT

Randomly perturbing networks during the training process is a commonly used approach to improving generalization performance. In this paper, we present a theoretical study of one particular way of random perturbation, which corresponds to injecting artificial noise to the training data. We provide a precise asymptotic characterization of the training and generalization errors of such randomly perturbed learning problems on a random feature model. Our analysis shows that Gaussian noise injection in the training process is equivalent to introducing a weighted ridge regularization, when the number of noise injections tends to infinity. The explicit form of the regularization is also given. Numerical results corroborate our asymptotic predictions, showing that they are accurate even in moderate problem dimensions. Our theoretical predictions are based on a new correlated Gaussian equivalence conjecture that generalizes recent results in the study of random feature models.

研究动机与目标

• 为了从理论上理解在模型优化过程中向训练数据注入高斯噪声所产生的正则化效应。
• 为了表征在噪声注入下随机特征模型中训练误差和泛化误差的渐近行为。
• 为了建立噪声注入与隐式正则化之间的精确联系，特别是识别出等价的岭惩罚项。
• 为了提出并验证一个新提出的、扩展了随机特征模型分析中先前结果的相关高斯等价猜想。
• 为了为数据扰动下的泛化性能分析提供一个严格的渐近框架。

提出的方法

• 构建一个噪声学习问题，其中每个训练样本均被独立的高斯噪声向量扰动，噪声方差记为Δ。
• 使用具有固定随机特征的随机特征模型，并采用仅训练第二层的两层神经网络结构来分析优化问题。
• 应用多变量复广义尾部法（CGMT）框架，推导训练误差和泛化误差的渐近表达式。
• 推导出噪声注入与加权岭正则化之间的渐近等价性，明确以特征矩阵和激活函数表示正则化矩阵。
• 提出一个新的相关高斯等价猜想，以推广随机特征模型分析中的现有结果。
• 通过数值实验验证理论预测，结果在中等维度设置下表现出高度一致性。

实验结果

研究问题

• RQ1 在随机特征模型中，向训练数据注入高斯噪声对泛化误差和训练误差的精确渐近效应是什么？
• RQ2 输入数据中的噪声注入与岭回归等显式正则化技术之间有何关系？
• RQ3 在高维极限下，噪声注入所诱导的正则化能否进行解析表征？
• RQ4 噪声注入与岭正则化的等价性是否在渐近意义下成立？其等价正则化惩罚项的显式形式是什么？
• RQ5 在有限维、中等规模的问题中，渐近预测的准确性如何？

主要发现

• 在训练数据中注入高斯噪声会渐近地诱导出加权岭正则化，且正则化矩阵可明确以特征矩阵和激活函数表示。
• 在高维极限下，等价的岭惩罚项被证明是输入协方差、激活函数的二阶矩以及噪声方差的函数。
• 数值结果证实了理论预测的高精度，即使在中等问题维度（例如，p ≈ 100–500）下也成立。
• 渐近等价性在噪声注入次数ℓ趋于无穷大的假设下成立，从而产生一个明确定义的正则化效应。
• 所推导出的正则化并非均匀的；其为加权形式，且依赖于特征矩阵的结构和数据分布。
• 该分析依赖于一个新提出的相关高斯等价猜想，该猜想推广了近期在随机特征模型分析中的进展。