[论文解读] On Minibatch Noise: Discrete-Time SGD, Overparametrization, and Bayes.

Liu Ziyin, Kangqiao Liu+2 more|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification被引用 4

一句话总结

本文研究了随机梯度下降（SGD）中小批量噪声出现的条件，表明当模型与数据复杂度不匹配时——由于标签噪声、输入噪声、正则化或参数不足——小批量噪声才会出现。本文为线性回归推导出可解析求解的结果，并提出了一种比常见近似更精确的一般性小批量噪声公式。

ABSTRACT

The noise in stochastic gradient descent (SGD), caused by minibatch sampling, remains poorly understood despite its enormous practical importance in offering good training efficiency and generalization ability. In this work, we study the minibatch noise in SGD. Motivated by the observation that minibatch sampling does not always a fluctuation, we set out to find the conditions that minibatch noise to emerge. We first derive the analytically solvable results for linear regression under various settings, which are compared to the commonly used approximations that are used to understand SGD noise. We show that some degree of mismatch between model and data complexity is needed in order for SGD to cause a noise, and that such mismatch may be due to the existence of static noise in the labels, in the input, the use of regularization, or underparametrization. Our results motivate a more accurate general formulation to describe minibatch noise.

研究动机与目标

• 理解为何尽管小批量噪声在训练效率和泛化中起着核心作用，但在SGD中并不总是出现。
• 识别在优化过程中小批量噪声实际出现的具体条件。
• 在各种设置下，为线性回归中的小批量噪声推导出可解析处理的结果。
• 挑战并改进常用SGD噪声近似方法，提出一种更精确的一般性公式。

提出的方法

• 在不同设置下（包括有无正则化），为线性回归中的SGD噪声协方差进行解析推导。
• 将精确的解析结果与文献中常用的近似方法（如恒定费雪信息量近似）进行对比。
• 分析模型复杂度相对于数据复杂度的作用，特别是在存在标签噪声或输入噪声时。
• 研究正则化和参数不足如何促进小批量噪声的出现。
• 提出一种一般性噪声模型，以考虑模型与数据复杂度不匹配的情况，超越简化假设。

实验结果

研究问题

• RQ1 在什么条件下小批量噪声实际上会在SGD中出现，而不是被平均掉？
• RQ2 模型与数据复杂度之间的不匹配在多大程度上影响小批量噪声的出现？
• RQ3 在模型与数据不匹配时，SGD噪声的常见近似在多大程度上无法捕捉真实噪声行为？
• RQ4 标签噪声、输入噪声、正则化和参数不足在促成小批量噪声方面起到什么作用？
• RQ5 能否推导出一种更精确的一般性小批量噪声公式，以考虑模型与数据复杂度的不匹配？

主要发现

• 小批量噪声在SGD中不会出现，除非存在模型与数据复杂度的不匹配，例如在存在标签噪声或输入噪声时。
• 一定程度的参数不足或正则化是噪声出现的必要条件，因为没有噪声分量的过参数化模型可能不会表现出梯度波动。
• 当存在模型与数据不匹配时，SGD噪声的常见近似（如假设费雪信息量恒定）无法捕捉真实的噪声动态。
• 线性回归的解析结果表明，噪声方差明确依赖于模型与数据复杂度不匹配的程度，包括正则化强度以及输入或标签中的噪声方差。
• 本研究促使提出了一种改进的一般性小批量噪声公式，该公式纳入了相对于数据的模型复杂度，从而在准确性上优于先前的近似方法。