[论文解读] On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature

Yikuan Zhang, Ning Yang+1 more|arXiv (Cornell University)|Feb 5, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本文表明 SGD 噪声协方差 C 与每样本二阶 Hessian 的二阶矩相关，而不是直接与 Hessian H 相关，从而产生 universial 的 1≤γ≤2 次幂规律 Cii ∝ Hi^γ，CE 与 MSE 的行为不同。跨数据集/架构的经验结果验证了该界限，并通过每样本 Hessian 谱和对齐性解释了 CE/MSE 的差异性。

ABSTRACT

Stochastic Gradient Descent (SGD) introduces anisotropic noise that is correlated with the local curvature of the loss landscape, thereby biasing optimization toward flat minima. Prior work often assumes an equivalence between the Fisher Information Matrix and the Hessian for negative log-likelihood losses, leading to the claim that the SGD noise covariance $\mathbf{C}$ is proportional to the Hessian $\mathbf{H}$. We show that this assumption holds only under restrictive conditions that are typically violated in deep neural networks. Using the recently discovered Activity--Weight Duality, we find a more general relationship agnostic to the specific loss formulation, showing that $\mathbf{C} \propto \mathbb{E}_p[\mathbf{h}_p^2]$, where $\mathbf{h}_p$ denotes the per-sample Hessian with $\mathbf{H} = \mathbb{E}_p[\mathbf{h}_p]$. As a consequence, $\mathbf{C}$ and $\mathbf{H}$ commute approximately rather than coincide exactly, and their diagonal elements follow an approximate power-law relation $C_{ii} \propto H_{ii}^γ$ with a theoretically bounded exponent $1 \leq γ\leq 2$, determined by per-sample Hessian spectra. Experiments across datasets, architectures, and loss functions validate these bounds, providing a unified characterization of the noise-curvature relationship in deep learning.

研究动机与目标

• 对基于 Fisher 的近似给出鲁棒的 SGD 噪声理解的动机。
• 表征 SGD 引入的噪声如何与深度网络的损失曲率对齐。
• 开发一个与损失无关的框架（AWD），将数据活动性与权重扰动联系起来。
• 量化 C–H 关系并建立对尺度指数的普遍界限。

提出的方法

• 引入活动性–权重对偶性（AWD），将小批量活动波动映射为等效的权重扰动。
• 推导出 SGD 噪声协方差 C ∝ E_p[h_p^2]，其中 H = E_p[h_p]，显示出超线性的 C–H 关系。
• 在 Hessian 本征基下，Cii 相对于 Hi 以 γ 的幂律增长，1 ≤ γ ≤ 2，理论与实验均支持。
• 进行抑制实验，将 CE 与 MSE 的差异与每样本特征值与全局 Hessian 方向的对齐性联系起来。
• 给出谱分解结果（Eq. 15），阐明局部曲率及其对齐如何决定 C。

实验结果

研究问题

• RQ1 SGD 噪声协方差是否在不同架构和损失下与全局 Hessian 对齐或可对易？
• RQ2 能否使用 AWD 推导出一个与损失函数无关的 C 与曲率的关系？
• RQ3 Cii 与 Hii 之间的尺度定律是什么，是否存在 γ 的普遍界限？
• RQ4 为何在实践中 CE 与 MSE 显示出不同的 γ 值？
• RQ5 观察到的 C–H 关系是否可以通过每样本 Hessian 谱及其与全局方向的对齐来解释？

主要发现

• C 与每样本 Hessian 的二阶矩成正比：C ∝ E_p[h_p^2]，而不仅仅是严格与 H 成正比。
• 在 Hessian 本征基下，C 近似与 H 对易，离对角项很小，表明 C 与 H 在结构上对齐。
• 对角元遵循幂律 Cii ∝ Hi^γ，经验 γ 落在 [1,2]，CE 下通常 γ>1，MSE 下 γ 约为 1。
• 普遍界限 1 ≤ γ ≤ 2 在局部极小附近成立，跨数据集与架构的经验结果显示 γ 落在此范围内。
• 抑制实验表明 CE 显示出比 MSE 更强的 X–Y 相关性（曲率幅值与对齐之间的关系），推动 CE 的 γ>1。
• AWD 框架提供一个与损失无关的机制，将小批量活动波动与决定 C 的权空间扰动联系起来。