[论文解读] Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning

Zifan Wu, Chao Yu+3 more|arXiv (Cornell University)|Jan 20, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

该论文提出了一种名为 Plan To Predict (P2P) 的新型基于模型的强化学习框架，将模型滚动预测视为一个序列决策问题，使模型能够在当前策略下主动规划，从而预见不确定性。P2P 通过最小化在策略诱导的状态分布上的多步预测误差，在具有挑战性的 MBRL 基准测试中实现了最先进性能，同时提升了样本效率和策略稳定性。

ABSTRACT

In Model-based Reinforcement Learning (MBRL), model learning is critical since an inaccurate model can bias policy learning via generating misleading samples. However, learning an accurate model can be difficult since the policy is continually updated and the induced distribution over visited states used for model learning shifts accordingly. Prior methods alleviate this issue by quantifying the uncertainty of model-generated samples. However, these methods only quantify the uncertainty passively after the samples were generated, rather than foreseeing the uncertainty before model trajectories fall into those highly uncertain regions. The resulting low-quality samples can induce unstable learning targets and hinder the optimization of the policy. Moreover, while being learned to minimize one-step prediction errors, the model is generally used to predict for multiple steps, leading to a mismatch between the objectives of model learning and model usage. To this end, we propose \emph{Plan To Predict} (P2P), an MBRL framework that treats the model rollout process as a sequential decision making problem by reversely considering the model as a decision maker and the current policy as the dynamics. In this way, the model can quickly adapt to the current policy and foresee the multi-step future uncertainty when generating trajectories. Theoretically, we show that the performance of P2P can be guaranteed by approximately optimizing a lower bound of the true environment return. Empirical results demonstrate that P2P achieves state-of-the-art performance on several challenging benchmark tasks.

研究动机与目标

• 为解决由于策略更新导致的分布偏移所引发的基于模型强化学习中的模型偏差问题。
• 解决基于模型强化学习中单步模型学习与多步模型使用之间的目标不匹配问题。
• 通过在轨迹生成过程中预见未来的不确定性，使模型能够主动规避高不确定性区域。
• 通过将模型学习与当前策略所诱导的状态分布对齐，提升策略的样本效率和学习稳定性。
• 为所提出的多步损失提供理论依据，并在具有挑战性的基准测试中展示其经验优越性。

提出的方法

• 通过角色反转，将模型滚动预测重新构想为序列决策问题：模型充当决策者，策略充当环境动力学。
• 使用强化学习训练模型，以最小化在当前策略生成的轨迹上的累积预测误差。
• 利用策略诱导的状态分布指导模型训练，确保模型能快速适应策略变化。
• 引入一种多步损失函数，通过最小化未来状态上的期望误差，近似真实环境回报。
• 在规划过程中利用不确定性量化，避免模型可能不准确的区域。
• 模型学习一种与策略相关的滚动策略，优先选择低不确定性、高回报的轨迹。

实验结果

研究问题

• RQ1 能否训练模型在生成轨迹之前预见未来状态的不确定性，而非在采样后被动响应？
• RQ2 如何使模型学习的目标与模型在多步滚动中的实际使用目标保持一致？
• RQ3 将模型滚动视为序列决策过程，是否能提升 MBRL 中的样本效率和策略性能？
• RQ4 在当前策略下主动规划是否能降低累积预测误差并实现更稳定的策略优化？
• RQ5 所提出的框架是否能在具有挑战性、高维的控制任务和离线强化学习设置中实现泛化？

主要发现

• P2P 在多个具有挑战性的 D4RL 基准任务上实现了最先进性能，在样本效率和最终回报方面优于先前的 MBRL 方法。
• P2P 模型通过在当前策略下进行规划，主动规避高不确定性区域，降低了生成低质量、高误差轨迹的风险。
• 实证结果表明，与基线方法相比，P2P 显著降低了在策略诱导轨迹上的多步预测误差。
• 理论分析证实，P2P 近似优化了真实环境回报的下界，为其设计提供了理论支持。
• P2P 在初步的离线强化学习实验中表现出色，表明其具有更广泛的应用潜力。
• 该框架通过将模型学习目标与多步规划中实际的策略使用对齐，有效缓解了模型偏差问题。