[论文解读] Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network

Farhad Pashakhanloo, Alexei A. Koulakov|arXiv (Cornell University)|Feb 6, 2023

Neural dynamics and brain function被引用 6

一句话总结

本文研究了在持续在线学习过程中，随机梯度下降（SGD）如何在两层线性神经网络中引起表征漂移。通过将参数空间的动力学分解为最小损失流形的法向和切向分量，作者从理论上推导出隐层表征的扩散系数，表明更常出现的刺激其漂移速度更慢——这与梨状皮层中的实验观察结果一致。

ABSTRACT

Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual online learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former corresponds to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as functions of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks.

研究动机与目标

• 理解生物与人工神经网络中表征漂移的机制，特别是在持续学习背景下的表现。
• 研究随机梯度下降（SGD）噪声是否足以单独引起如梨状皮层中观察到的刺激依赖性漂移。
• 建立一个理论框架，以网络参数和输入统计量来量化漂移速率。
• 通过数值模拟验证模型，并将结果与关于气味表征漂移的实验数据进行比较。

提出的方法

• 为在线持续学习构建一个具有L2正则化均方误差损失的两层线性前馈网络模型。
• 将参数空间分解为相对于最小损失流形的法向子空间与切向子空间。
• 通过分析SGD在切向空间中的随机动力学，在流形上推导出有效扩散过程。
• 计算隐层表征的涨落系数与扩散系数的解析表达式，其形式依赖于输入分布与网络超参数。
• 利用损失景观的几何分析，将有限方差涨落（法向）与漂移型演化（切向）区分开来。
• 在低正则化与高输入多样性条件下应用渐近近似，以简化并解释扩散系数。

Figure 1: (left) Neural network model. (right) Manifold of minimum-loss ( $\mathcal{M}$ ) in the parameter space.

实验结果

研究问题

• RQ1 SGD引起的噪声是否足以单独解释神经网络中刺激依赖的表征漂移？
• RQ2 刺激呈现频率如何影响表征漂移的速度？
• RQ3 网络参数、输入统计量与漂移动力学之间的解析关系是什么？
• RQ4 法向与切向空间动力学在整体漂移过程中分别起到何种不同作用？

主要发现

• 隐层表征的漂移速率对于更常出现的刺激更慢，与梨状皮层中的实验发现一致。
• 当正则化较小时，某一样本表征的扩散系数与输入信号强度的平方成反比。
• 对于频繁呈现的刺激，漂移速率近似正比于 $ \frac{\eta \gamma^2}{s_a^2 s_d} $，其中 $ s_a $ 为刺激的信号方差。
• 该模型预测，漂移主要由最小损失流形上的切向运动主导，而法向涨落则保持有界。
• 扩散系数的解析表达式在不同输入统计量与刺激频率下与数值模拟结果高度吻合。
• 该框架解释了为何尽管存在持续的表征漂移，仍能维持稳定的任务性能——这归因于解流形上的有效扩散。

Figure 2: Schematics showing (left) the probability distribution of the fluctuations outside the manifold, (middle) the gradient vectors on and near the manifold, and (right) the tangential component of the gradient.