[论文解读] Predictive auxiliary objectives in deep RL mimic learning in the brain

Ching Fang, Kimberly Stachenfeld|arXiv (Cornell University)|Oct 9, 2023

Neural dynamics and brain function被引用 5

一句话总结

该论文表明，深度强化学习（RL）中的预测性辅助目标会模仿大脑中观察到的神经表征动态，其中预测头类似于海马体功能，而编码器则对应视觉皮层。该研究展示了此类目标在资源受限的网络中可稳定学习过程，通过更长的时域提升迁移学习效果，并驱动与生物数据一致的表征变化。

ABSTRACT

The ability to predict upcoming events has been hypothesized to comprise a key aspect of natural and machine cognition. This is supported by trends in deep reinforcement learning (RL), where self-supervised auxiliary objectives such as prediction are widely used to support representation learning and improve task performance. Here, we study the effects predictive auxiliary objectives have on representation learning across different modules of an RL system and how these mimic representational changes observed in the brain. We find that predictive objectives improve and stabilize learning particularly in resource-limited architectures, and we identify settings where longer predictive horizons better support representational transfer. Furthermore, we find that representational changes in this RL system bear a striking resemblance to changes in neural activity observed in the brain across various experiments. Specifically, we draw a connection between the auxiliary predictive model of the RL system and hippocampus, an area thought to learn a predictive model to support memory-guided behavior. We also connect the encoder network and the value learning network of the RL system to visual cortex and striatum in the brain, respectively. This work demonstrates how representation learning in deep RL systems can provide an interpretable framework for modeling multi-region interactions in the brain. The deep RL perspective taken here also suggests an additional role of the hippocampus in the brain -- that of an auxiliary learning system that benefits representation learning in other regions.

研究动机与目标

• 探究深度强化学习中预测性辅助目标如何塑造表征，以及这些变化在多大程度上与大脑中的神经动态相似。
• 评估预测性目标在资源受限的深度强化学习架构中的功能优势。
• 探索预测时域长度在实现跨任务表征迁移中的作用。
• 基于表征变化，建立深度强化学习模块与大脑区域（如海马体、视觉皮层、纹状体）之间的类比关系。
• 提出海马体可能作为辅助学习系统，独立于规划过程，增强其他脑区的表征学习能力。

提出的方法

• 训练了一个采用多目标设置的深度强化学习智能体：主目标为Q-learning，辅助目标为对比预测的预测性目标。
• 使用对比损失训练一个预测模型，从当前观测预测未来状态，包含正样本与负样本。
• 训练一个编码器网络以提取状态表征，同时训练一个价值网络以估计Q值，二者均受辅助目标影响。
• 在网格世界觅食环境中进行受控实验，以隔离预测与价值学习对表征的影响。
• 通过模拟已知实验范式（如刺激交换、奖励调制的调谐），将强化学习系统中的表征变化映射到神经数据。
• 使用神经活动模式量化编码器与预测头中的表征变化，并与视觉皮层和海马体的在体记录进行比较。

Figure 1: A deep RL framework to model multi-region computation. A. In the deep RL model we use, reward is provided as a scalar input $r$ . Observations $o$ are 2D visual inputs fed into an encoder (green) that learns low-dimensional state space representations $z$ . The encoder is a convolutional n

实验结果

研究问题

• RQ1 预测性辅助目标如何影响深度强化学习中的表征学习，尤其是在资源受限的模型中？
• RQ2 预测时域长度对表征迁移与学习稳定性的影响如何？
• RQ3 深度强化学习系统中的表征变化在多大程度上与大脑视觉皮层和海马体中观察到的变化相似？
• RQ4 强化学习智能体中的预测头能否被解释为大脑海马体的功能类比？
• RQ5 在一个模块中学习预测性表征是否能引发其他互连模块（如编码器与价值网络）中的有益表征变化？

主要发现

• 预测性辅助目标显著减少了深度强化学习中的表征崩溃，尤其在资源受限的架构中效果明显。
• 更长的预测时域可实现更好的跨任务表征迁移，优于短时域预测。
• 编码器网络中的神经元在经历偏好与非偏好刺激交换序列后表现出调谐特性改变——与猕猴IT皮层的结果一致（Li & DiCarlo, 2008）。
• 编码器单元的放电率在交换位置趋向非偏好刺激，且该效应在接近交换点时增强，而若无预测性目标则该效应消失。
• 价值学习影响编码器表征：早期编码器层的单元对奖励刺激表现出更高的选择性，与小鼠V1皮层的研究结果一致（Poort et al., 2015）。
• 预测头中的活动与海马体动态高度相似，尤其在预测与序列编码特性方面，支持海马体作为辅助学习系统以塑造表征的假设。

Figure 2: Gridworld performance with predictive auxiliary tasks. A. The model is tested on gridworld task in a 8x8 arena. The agent must navigate to a hidden reward given random initial starting locations. B. Average episode score across training steps for models without auxiliary losses (blue), wit