[论文解读] Predictive representations: building blocks of intelligence

Wilka Carvalho, Momchil S. Tomov+3 more|arXiv (Cornell University)|Feb 9, 2024

Cognitive Science and Education Research被引用 4

一句话总结

本文提出，预测性表征——尤其是后续表示（successor representation, SR）及其泛化形式——作为智能的基本构建模块，通过在人工和生物系统中实现高效、灵活且可扩展的决策，从而推动智能的发展。通过缓存与任务相关的预测结果，这些表征在计算资源受限的情况下仍能实现快速推理，其在理论、人工智能、认知科学和神经科学领域均具有坚实支持，表明其在探索、迁移学习、分层控制和神经计算中的关键作用。

ABSTRACT

Adaptive behavior often requires predicting future events. The theory of reinforcement learning prescribes what kinds of predictive representations are useful and how to compute them. This paper integrates these theoretical ideas with work on cognition and neuroscience. We pay special attention to the successor representation (SR) and its generalizations, which have been widely applied both as engineering tools and models of brain function. This convergence suggests that particular kinds of predictive representations may function as versatile building blocks of intelligence.

研究动机与目标

• 识别并形式化可作为人工与生物系统中智能行为高效可重用组件的预测性表征。
• 通过提出缓存常见查询答案的预测性表征，解决智能系统中灵活性与效率之间的权衡问题，降低计算成本。
• 通过证明大脑可能使用类似的预测性表征进行决策、导航与记忆，统一强化学习、认知科学与神经科学的洞见。
• 展示广义预测性表征（如后续特征与后续模型）如何在人工智能中实现迁移学习、分层规划与多智能体协同等强大能力。
• 为这些表征提供生物上合理的学习算法，将其与多巴胺信号传导、海马体重播等神经机制相联系。

提出的方法

• 将预测性表征形式化为对特定预测查询的缓存解，与完整预测模型相区分，以在灵活性与效率之间取得平衡。
• 引入后续表示（SR）作为矩阵，编码在特定策略下对预期未来状态访问的预测，通过线性代数实现快速价值函数推理。
• 将SR扩展为后续特征（SFs），将预测推广至未来状态的任意特征，实现不同奖励函数任务间的迁移。
• 提出后续模型（SMs）作为SR的概率泛化形式，支持从未来状态分布中采样，从而实现更丰富的规划与推理。
• 应用广义策略提升（GPI）通过SFs的加权组合整合多种行为，实现自适应行为选择。
• 引入Option Keyboard框架，利用SR串联选项，实现高效选项发现与迁移的分层强化学习。

Figure 1: Algorithmic solutions to the RL problem . An agent solving a three-armed maze (bottom) can adopt different classes of strategies (top). Model-based strategies (left) learn an internal model of the environment, including the transition function ( $T$ ), the reward function ( $R$ ), and (opt

实验结果

研究问题

• RQ1 在强化学习中，哪些类型的预测性表征最有利于实现高效且灵活的决策？
• RQ2 如何将预测性表征从标准SR泛化，以支持迁移学习、分层控制与多任务学习？
• RQ3 大脑中哪些神经机制可能实现类似SR与SFs的预测性表征，它们与观察到的神经活动模式有何关联？
• RQ4 多巴胺神经元如何编码向量值预测误差，以支持后续特征与模型的学习？
• RQ5 预测性表征在多大程度上统一了人工智能、认知科学与神经科学，以解释智能行为？

主要发现

• 后续表示（SR）通过缓存预期未来状态访问，实现快速价值函数推理，与完整预测模型相比显著降低计算成本。
• 后续特征（SFs）通过将未来状态预测与奖励设计解耦，实现不同奖励函数任务间的迁移，支持价值函数的高效重加权。
• 后续模型（SMs）将SR泛化为对未来的概率预测，支持基于采样与基于评估的推理，从而增强规划与探索能力。
• 来自fMRI研究的神经数据表明，人类在记忆回忆过程中表现出的序列神经活动，与在图结构环境中训练的SR模型的预测结果高度一致，支持SR的神经基础。
• 多巴胺神经元群组编码向量值预测误差，包括感官特征预测，支持后续特征的学习，并解释了非标量多巴胺响应现象。
• 记忆系统中的时间上下文模型（TCM）可被解释为SR的生物合理估计器，通过预测性表征将情景记忆与决策过程联系起来。

Figure 2: The successor representation (SR). We present (a) a schematic of an environment where the agent is a red box at state $s_{13}$ and the goal is a green box at state $s_{5}$ . In general, an SR $M^{\pi}(s,\tilde{s})$ (Eq. 13 ) describes the discounted state occupancy for state $\tilde{s}$ wh