[论文解读] On the model-based stochastic value gradient for continuous reinforcement learning

Brandon Amos, Samuel Stanton+2 more|arXiv (Cornell University)|Aug 28, 2020

Reinforcement Learning in Robotics参考文献 78被引用 16

一句话总结

本文提出了一种基于模型的强化学习智能体，该智能体将无模型的软Q值估计与基于模型的随机值梯度（SVG）结合用于策略改进。通过仅使用单一确定性动力学模型和软值估计，该方法在高维连续控制任务中实现了最先进性能，其样本效率和最终回报均优于无模型和复杂基于模型的基线方法。

ABSTRACT

For over a decade, model-based reinforcement learning has been seen as a way to leverage control-based domain knowledge to improve the sample-efficiency of reinforcement learning agents. While model-based agents are conceptually appealing, their policies tend to lag behind those of model-free agents in terms of final reward, especially in non-trivial environments. In response, researchers have proposed model-based agents with increasingly complex components, from ensembles of probabilistic dynamics models, to heuristics for mitigating model error. In a reversal of this trend, we show that simple model-based agents can be derived from existing ideas that not only match, but outperform state-of-the-art model-free agents in terms of both sample-efficiency and final reward. We find that a model-free soft value estimate for policy evaluation and a model-based stochastic value gradient for policy improvement is an effective combination, achieving state-of-the-art results on a high-dimensional humanoid control task, which most model-based agents are unable to solve. Our findings suggest that model-based policy evaluation deserves closer attention.

研究动机与目标

• 识别在现代基准任务上能够实现最先进性能的最简单基于模型智能体。
• 探究当与鲁棒值估计结合时，基于模型的策略改进是否能够超越无模型方法。
• 评估值学习与策略改进对动力学模型误差的敏感性。
• 通过表明简单组件可超越复杂集成模型，挑战基于模型强化学习中复杂度不断提升的趋势。
• 证明在连续控制任务中，基于模型的策略评估值得重新关注。

提出的方法

• 该方法使用单一确定性动力学模型生成短时程轨迹，通过随机值梯度（SVG）算法实现策略改进。
• 它采用SAC中的软Q值估计，为策略评估提供稳定且准确的值目标。
• 演员通过模型生成的轨迹使用SVG进行更新，而评论家则在真实和模型生成的转移数据上进行训练。
• 该方法避免了复杂组件（如模型集成或大量模型微调），转而依赖熵正则化和值软化以实现稳定性。
• 仅在策略改进过程中应用值扩展（MVE），而非在值学习过程中，以降低对模型误差的敏感性。
• 该方法在高维控制任务上进行了评估，包括一个具有挑战性的双足人形环境。

实验结果

研究问题

• RQ1 仅使用单一确定性动力学模型的简单基于模型智能体是否能够超越最先进无模型和复杂基于模型智能体？
• RQ2 在基于模型强化学习中，模型误差如何影响值学习与策略改进？
• RQ3 使用来自无模型SAC的软值估计是否能提高基于模型策略更新的鲁棒性？
• RQ4 即使数据有限，通过SVG实现的基于模型策略改进是否仍能实现高于无模型方法的最终性能？
• RQ5 性能提升是源于架构设计，还是特定的值估计与策略梯度技术组合？

主要发现

• 所提出的SAC-SVG(H)智能体在高维人形控制任务中优于最先进无模型和基于模型智能体，实现了更高的最终回报和更好的样本效率。
• 在Hopper环境中，即使仅使用单一确定性动力学模型，该方法的性能仍与MBPO及其他复杂基于模型智能体相当或更优。
• 发现值学习对模型误差的敏感性显著高于策略改进，当模型误差在评论家更新过程中累积时，性能明显下降。
• 性能提升并非仅源于模型架构，因为相同模型架构在不同训练设置下表现不佳，凸显了训练流程的重要性。
• 在评论家更新中引入值扩展（MVE）导致性能随时间下降，尤其在长时程设置下，这是由于模型误差累积所致。
• 结果表明，当与值学习适当隔离时，基于模型的策略评估可成为基于模型强化学习中强大且稳健的组成部分。