[论文解读] Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes

Christopher J. Cueva, Adel Ardalan+2 more|arXiv (Cornell University)|Nov 1, 2021

Neural dynamics and brain function参考文献 40被引用 5

一句话总结

本文研究了循环神经网络（RNNs）如何通过类似克利福德环面（Clifford torus）的活动流形存储多个连续的工作记忆项目，该机制通过局部兴奋/全局抑制的连接模式和动态编码实现。关键发现是，这种几何结构可实现两个方向的正交存储，最大限度减少干扰，且噪声引起的高层级序次记忆会约束低层级的绝对记忆，从而复现人类心理物理学行为。

ABSTRACT

Many daily activities and psychophysical experiments involve keeping multiple items in working memory. When items take continuous values (e.g., orientation, contrast, length, loudness) they must be stored in a continuous structure of appropriate dimensions. We investigate how this structure is represented in neural circuits by training recurrent networks to report two previously shown stimulus orientations. We find the activity manifold for the two orientations resembles a Clifford torus. Although a Clifford and standard torus (the surface of a donut) are topologically equivalent, they have important functional differences. A Clifford torus treats the two orientations equally and keeps them in orthogonal subspaces, as demanded by the task, whereas a standard torus does not. We find and characterize the connectivity patterns that support the Clifford torus. Moreover, in addition to attractors that store information via persistent activity, our networks also use a dynamic code where units change their tuning to prevent new sensory input from overwriting the previously stored one. We argue that such dynamic codes are generally required whenever multiple inputs enter a memory system via shared connections. Finally, we apply our framework to a human psychophysics experiment in which subjects reported two remembered orientations. By varying the training conditions of the RNNs, we test and support the hypothesis that human behavior is a product of both neural noise and reliance on the more stable and behaviorally relevant memory of the ordinal relationship between the two orientations. This suggests that suitable inductive biases in RNNs are important for uncovering how the human brain implements working memory. Together, these results offer an understanding of the neural computations underlying a class of visual decoding tasks, bridging the scales from human behavior to synaptic connectivity.

研究动机与目标

• 理解神经回路如何存储多个连续的工作记忆项目，例如两个相继呈现的方向。
• 确定表示多个连续值在递归神经活动中的最优几何结构（例如克利福德环面与标准环面的比较）。
• 识别支持工作记忆中多个连续变量稳定正交表示的连接模式。
• 研究动态编码（即神经调谐随时间变化）如何在顺序输入过程中防止记忆被覆盖。
• 检验RNN中的噪声与分层解码是否能复现人类在工作记忆任务中的心理物理学行为。

提出的方法

• 使用带反馈的监督学习训练循环神经网络（RNNs），以报告两个相继闪现的刺激方向。
• 在刺激消失后分析递归单元的低维活动流形，以确定其几何结构（例如克利福德环面与标准环面的比较）。
• 应用正交性与平行性检验，以区分拓扑等价但度量不同的流形。
• 检查递归单元之间的连接模式，识别与每个方向相关的局部兴奋/全局抑制特征。
• 追踪神经调谐曲线随时间的变化，以检测可防止记忆被覆盖的动态编码机制。
• 向递归单元注入噪声，并模拟人类心理物理学任务，以检验高层级序次记忆是否约束低层级绝对记忆的报告。

实验结果

研究问题

• RQ1 何种几何结构最适于表示存储两个连续工作记忆项目的活动流形？
• RQ2 连接模式（局部兴奋/全局抑制）如何支持多个连续值的正交存储？
• RQ3 动态编码（即神经调谐随时间变化）在顺序输入过程中防止记忆被覆盖方面发挥何种作用？
• RQ4 RNN中的噪声能否复现人类心理物理学发现的序次关系约束绝对记忆报告的现象？
• RQ5 为何标准前馈网络无法复现人类在重叠输入的工作记忆任务中的行为模式？

主要发现

• 两个记忆方向的活动流形更类似于克利福德环面而非标准环面，因其能为每个方向维持正交子空间。
• 克利福德环面样流形由两种不同的局部兴奋/全局抑制连接模式支持——每种方向对应一种，从而确保最小干扰。
• 神经单元随时间动态调整其调谐，从吸引子样状态过渡到新配置，从而保护首个记忆免受第二个输入的覆盖。
• 递归单元中的噪声对于使高层级序次记忆能够约束低层级绝对方向的解码至关重要，从而复现关键的人类心理物理学结果。
• 未施加序次约束训练的RNN无法复现人类行为，表明人类工作记忆依赖于神经噪声与稳定序次关系的协同作用。
• 标准前馈网络无法复现人类心理物理学中观察到的分层解码现象，凸显了递归动力学与噪声在准确行为建模中的必要性。