[论文解读] The interplay between randomness and structure during learning in RNNs

Friedrich Schuessler, Francesca Mastrogiuseppe+3 more|arXiv (Cornell University)|Jun 19, 2020

Neural dynamics and brain function被引用 46

一句话总结

本文表明，在低维任务上对RNN进行梯度下降训练会产生低秩的连接性变化，并通过一个线性、解析模型解释这一点，该模型强调初始随机的 W0 如何加速学习并塑造最终结构。

ABSTRACT

Recurrent neural networks (RNNs) trained on low-dimensional tasks have been widely used to model functional biological networks. However, the solutions found by learning and the effect of initial connectivity are not well understood. Here, we examine RNNs trained using gradient descent on different tasks inspired by the neuroscience literature. We find that the changes in recurrent connectivity can be described by low-rank matrices, despite the unconstrained nature of the learning algorithm. To identify the origin of the low-rank structure, we turn to an analytically tractable setting: training a linear RNN on a simplified task. We show how the low-dimensional task structure leads to low-rank changes to connectivity. This low-rank structure allows us to explain and quantify the phenomenon of accelerated learning in the presence of random initial connectivity. Altogether, our study opens a new perspective to understanding trained RNNs in terms of both the learning process and the resulting network structure.

研究动机与目标

• 研究初始随机的 RNN 连接性和任务结构如何影响学习动态。
• 表征梯度下降引起的连接性变化（Delta W）的形式。
• 用一个可解析求解的线性 RNN 模型解释低秩变化的起源。
• 确定初始连接性如何与学习相关并加速学习。
• 通过扩展到更复杂的架构和任务来评估研究发现的普遍性。

提出的方法

• 在三个受神经科学启发的低维任务上训练 RNN，并将最终的 W 记为 W0 + Delta W 进行分析。
• 计算 Delta W 的奇异值以评估秩，并进行 rank-R 截断以测试功能秩。
• 构建一个带有梯度流的线性、可解析求解的 RNN 模型，以推导 W1 及更高阶项。
• 推导初始连接性 W0 如何通过矩阵 B = (I - W0)^{-1} 修改学习以及这对学习时间的影响。
• 通过与在情感分析任务上训练的两层 LSTM 进行对比来验证这些洞见。

实验结果

研究问题

• RQ1 在无约束学习的情况下，经过梯度下降训练的 RNN 是否会产生低秩的连接性变化？
• RQ2 初始随机连接性 W0 如何影响学习速度和最终网络结构？
• RQ3 线性解析模型能否捕捉到低秩 Delta W 的出现与大小以及相关的学习加速？
• RQ4 在比初始神经科学启发任务更复杂的网络/任务中，是否也能观察到低秩现象？
• RQ5 在学习过程中，是什么机制导致 Delta W 与 W0 对齐或相关？

主要发现

• 在所有三个受神经科学启发的任务中，学习引起的连接性变化都是低秩的。
• 初始连通性 g 能加速学习，且较大的 g 使 W0 主导最终的 W，而 Delta W 的范数缩小。
• 将 W0 与 Delta W 的相关结构打乱会降低性能，显示了 W0–Delta W 相关性的重要性。
• 在一个线性、简化的设定下，学习主要产生秩为一的 Delta W，且加速与 (1−g^2) 的平方倒数成比例。
• 在情感分析任务上训练的两层 LSTM 也显示出低秩的 Delta W，表明该现象延伸到更复杂的架构。