[论文解读] Thalamocortical contribution to solving credit assignment in neural systems

Mien Brabeeba Wang, Michael M. Halassa|arXiv (Cornell University)|Apr 3, 2021

Neural dynamics and brain function参考文献 153被引用 4

一句话总结

本文提出，丘脑皮层-基底节系统通过利用丘脑的控制功能（如感觉过滤、工作记忆门控和运动准备）来参数化皮层活动关联，从而实现元学习。通过基底节在快速（情境相关）和慢速（泛化）时间尺度上分层选择这些功能，该系统能够高效解决神经回路中的结构、情境和时间信用分配问题。

ABSTRACT

Animal brains evolved to optimize behavior in dynamically changing environments, selecting actions that maximize future rewards. A large body of experimental work indicates that such optimization changes the wiring of neural circuits, appropriately mapping environmental input onto behavioral outputs. A major unsolved scientific question is how optimal wiring adjustments, which must target the connections responsible for rewards, can be accomplished when the relation between sensory inputs, action taken, environmental context with rewards is ambiguous. The computational problem of properly targeting cues, contexts and actions that lead to reward is known as structural, contextual and temporal credit assignment respectively. In this review, we survey prior approaches to these three types of problems and advance the notion that the brain's specialized neural architectures provide efficient solutions. Within this framework, the thalamus with its cortical and basal ganglia interactions serve as a systems-level solution to credit assignment. Specifically, we propose that thalamocortical interaction is the locus of meta-learning where the thalamus provides cortical control functions that parametrize the cortical activity association space. By selecting among these control functions, the basal ganglia hierarchically guide thalamocortical plasticity across two timescales to enable meta-learning. The faster timescale establishes contextual associations to enable rapid behavioral flexibility while the slower one enables generalization to new contexts. Incorporating different thalamic control functions under this framework clarifies how thalamocortical-basal ganglia interactions may simultaneously solve the three credit assignment problems.

研究动机与目标

• 解决在复杂动态环境中，神经回路如何对特定线索、情境和行为进行信用分配这一未解难题。
• 解释大脑如何克服在生物神经回路中反馈延迟且模糊时，类反向传播学习的局限性。
• 提出一种系统级机制——以丘脑皮层相互作用和基底节调制为核心——实现高效且生物上合理的信用分配。
• 将三种不同的信用分配问题（结构、情境、时间）统一于一个框架下，该框架涉及丘脑对皮层可塑性的控制。

提出的方法

• 提出丘脑作为元学习者，通过提供参数化皮层活动关联空间的控制功能来调控皮层活动。
• 引入双时间尺度学习框架：丘脑皮层回路中的快速可塑性实现快速情境适应，而缓慢可塑性则巩固可泛化的表征。
• 将前额叶皮层（PFC）工作记忆的有效时间常数建模为丘脑输入（r_MD）的函数，使用公式 τ_eff = τ / [1 - (1 + r_MD)w_PFC f(inp_PFC)(1 - f(inp_PFC))]，其中 r_MD 调节记忆持久性。
• 利用基底节强化学习选择并调节丘脑控制功能，从而门控哪些皮层关联被加强。
• 将丘脑输出视为特定皮层环路连接的动态放大器，实现对任务相关信息的选择性维持。
• 整合皮层-丘脑反馈以减少对基底节在长期记忆维持中的依赖，从而实现学习关联的长期巩固。

实验结果

研究问题

• RQ1 当奖励信号延迟且模糊时，大脑如何对特定感觉线索、内部状态和行为进行信用分配？
• RQ2 何种神经机制使大脑在不发生灾难性遗忘的情况下实现快速行为灵活性以适应变化的情境？
• RQ3 大脑如何在长时间延迟后仍保持过去感觉输入和行为的相关性，以支持时间信用分配？
• RQ4 丘脑在解决神经回路中的信用分配问题时，其作用是否超越简单的中继功能？
• RQ5 一种生物上合理的系统如何实现元学习，使其在保持任务特定关联的同时实现跨情境泛化？

主要发现

• 丘脑皮层系统作为元学习的中枢，通过动态丘脑控制功能实现对皮层活动关联的参数化。
• 基底节通过强化学习分层选择丘脑控制功能，实现双时间尺度学习：快速用于情境适应，慢速用于泛化。
• 前额叶皮层工作记忆的有效时间常数受丘脑输入（r_MD）调节，r_MD 越高，记忆持久性越强，从而支持时间信用分配。
• 通过丘脑投射选择性放大功能性的皮层环路连接，系统在不发生灾难性遗忘的情况下维持任务相关的信息。
• 该框架通过协调的丘脑皮层与基底节动态，解释了同一神经架构如何同时解决结构、情境和时间信用分配问题。
• 皮层-丘脑反馈减少了对基底节在长时间维持工作记忆中的依赖，从而实现对学习关联的长期巩固。