[论文解读] Reinforcement Learning through Active Inference
本文提出了期望未来自由能（FEEF），一种基于主动推理的强化学习决策目标，在探索与利用之间实现自然平衡，并在稀疏、良好形状奖励以及无奖励的连续控制任务中表现出色。
The central tenet of reinforcement learning (RL) is that agents seek to maximize the sum of cumulative rewards. In contrast, active inference, an emerging framework within cognitive and computational neuroscience, proposes that agents act to maximize the evidence for a biased generative model. Here, we illustrate how ideas from active inference can augment traditional RL approaches by (i) furnishing an inherent balance of exploration and exploitation, and (ii) providing a more flexible conceptualization of reward. Inspired by active inference, we develop and implement a novel objective for decision making, which we term the free energy of the expected future. We demonstrate that the resulting algorithm successfully balances exploration and exploitation, simultaneously achieving robust performance on several challenging RL benchmarks with sparse, well-shaped, and no rewards.
研究动机与目标
- 动机：将主动推理与RL结合，以利用贝叶斯推断并让模型偏向偏好结果。
- 将期望未来的自由能表述并实现为决策目标。
- 证明所提出的目标对传统RL目标提供一个可处理的界限。
- 展示在具有不同奖励结构的连续控制基准测试中的稳健性能。
提出的方法
- 在一个带有编码偏好偏置的生成模型的POMDP中表述决策过程。
- 定义期望未来的自由能并推导出策略 q(pi) 最小化该量。
- 将负自由能分解为期望信息增益项和外在项，从而将探索与利用联系起来。
- 实现带有规划 horizon H 的基于模型的RL，并通过交叉熵方法 (CEM) 优化 q(pi)。
- 使用因子化的变分分布和可处理的KL项近似对未来状态、观测和参数的信念。
- 在具有稀疏奖励（Mountain Car、Cup Catch）、良好形状奖励（Half Cheetah）和无奖励（Ant Maze）的连续控制任务上进行评估。
实验结果
研究问题
- RQ1降低期望未来的自由能是否在RL中自然地实现探索与利用之间的平衡？
- RQ2基于主动推理的目标在稀疏或无奖励信号的连续控制中是否能实现稳健性能？
- RQ3FEEF 如何与传统的概率RL目标相关联并给出界限？
- RQ4该方法是否可扩展到高维的连续状态-行动空间和基于模型的规划？
- RQ5以观测分布形式表示偏好是否有助于灵活的奖励建模？
主要发现
- FEEF 目标通过信息增益项和外在项在探索-利用之间引入自然的权衡。
- 在 Mountain Car（稀疏奖励）中，该方法在一次试验中就达到最优性能，表明具有强定向探索。
- 在 Cup Catch（稀疏奖励）中，该方法在各方法之间匹配基线性能，显示在探索足以时的鲁棒性。
- 在 Half Cheetah（良好形状奖励）中，该方法在100轮后显著优于SAC，展示了改进的样本效率。
- 在 Ant Maze（无奖励）中，该方法实现更高的探索，覆盖的迷宫区域比随机策略基线更大。
- 总体而言，该方法在多样化的奖励结构下显示出稳健的性能，并扩展到连续的高维任务。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。