[论文解读] Policy-Aware Model Learning for Policy Gradient Methods

Romina Abachi, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|Feb 28, 2020

Reinforcement Learning in Robotics参考文献 73被引用 7

一句话总结

本文提出策略感知模型学习（PAML），一种针对基于模型的强化学习中策略梯度规划器特定需求而定制的模型学习方法。通过推导将规划器使用模型的方式纳入考量的损失函数，PAML 提升了样本效率与策略性能，在基准环境中的收敛性和实证结果均优于传统的最大似然估计方法。

ABSTRACT

This paper considers the problem of learning a model in model-based reinforcement learning (MBRL). We examine how the planning module of an MBRL algorithm uses the model, and propose that the model learning module should incorporate the way the planner is going to use the model. This is in contrast to conventional model learning approaches, such as those based on maximum likelihood estimate, that learn a predictive model of the environment without explicitly considering the interaction of the model and the planner. We focus on policy gradient type of planning algorithms and derive new loss functions for model learning that incorporate how the planner uses the model. We call this approach Policy-Aware Model Learning (PAML). We theoretically analyze a generic model-based policy gradient algorithm and provide a convergence guarantee for the optimized policy. We also empirically evaluate PAML on some benchmark problems, showing promising results.

研究动机与目标

• 为解决传统模型学习在基于模型的强化学习中效率低下的问题，该方法不将模型准确性本身视为目标，而是考虑模型在规划中的实际使用方式。
• 通过聚焦于影响策略梯度估计的方面，减少模型容量在与决策无关的环境动态上的浪费。
• 构建一个理论基础坚实的、策略感知的模型学习框架，以提升基于策略梯度的MBRL方法的样本复杂度与策略性能。
• 为通过所提出的基于模型的策略梯度算法优化的策略提供收敛性保证。

提出的方法

• 提出一种新的模型学习损失函数，明确结合了策略梯度规划器与模型之间的交互关系，而非仅依赖于预测准确性。
• 推导出策略梯度估计误差的理论界，以模型的总变差距离表示，将模型误差与策略性能退化相联系。
• 设计一种基于模型的策略梯度算法，其中模型通过优化策略梯度估计准确性的损失进行训练，而非仅关注状态转移预测。
• 采用混合数据生成策略进行规划：结合经验回放缓冲区中的真实转移、环境初始状态分布中采样的初始状态，以及缓冲区状态附近的扰动。
• 采用双流式演员-critic架构，使用独立网络分别处理策略和价值函数，通过离策略深度强化学习（DDPG风格）进行训练，采用目标网络与软更新机制。
• 对每种方法使用随机梯度下降配合学习率调度与超参数调优，确保PAML与MLE基线之间的公平比较。

实验结果

研究问题

• RQ1 将规划器特定目标纳入模型学习，如何影响策略梯度估计的准确性与最终策略性能？
• RQ2 若训练模型以最小化策略梯度误差而非预测误差，是否能提升基于模型的强化学习中的样本效率？
• RQ3 在总变差距离下，模型误差与策略梯度方法中策略梯度估计误差之间的理论关系是什么？
• RQ4 在基准控制任务中，PAML在学习速度与最终性能方面，与最大似然估计和端到端强化学习基线相比表现如何？

主要发现

• 在多个连续控制基准环境（包括HalfCheetah、Ant和Hopper）中，PAML在样本效率与最终策略性能方面均优于最大似然估计（MLE）基线。
• 该方法在高维状态空间与复杂动力学环境中表现出一致的学习速度与渐近性能提升。
• 实证结果表明，PAML在相同真实环境交互次数下收敛更快，且达到的回报更高，优于MLE与端到端DDPG基线。
• 理论分析表明，策略梯度估计误差受真实与模型转移动态之间总变差距离的有界约束，为该方法提供了形式化理论依据。
• 在存在无关环境动态的环境中，PAML优于MLE，证实聚焦于决策相关方面的模型容量可提升学习效率。
• 消融实验表明，规划所用数据分布（经验回放缓冲区、初始状态分布、随机扰动）的选择显著影响性能，而PAML对这一选择具有鲁棒性。