[论文解读] Trust the Model When It Is Confident: Masked Model-based Actor-Critic

Feiyang Pan, Jia He+2 more|arXiv (Cornell University)|Oct 10, 2020

Reinforcement Learning in Robotics参考文献 21被引用 19

一句话总结

本文提出了一种基于掩码的演员-评论家算法（M2AC），这是一种新型的基于模型的强化学习算法，通过基于不确定性的掩码机制，仅在模型对预测充满信心时才对策略进行优化，从而减少对不准确模型滚动预测的依赖。M2AC在样本效率和鲁棒性方面表现更优，尤其在具有长滚动路径的噪声环境中，优于当前最先进的方法（如MBPO）在连续控制基准测试中的表现。

ABSTRACT

It is a popular belief that model-based Reinforcement Learning (RL) is more sample efficient than model-free RL, but in practice, it is not always true due to overweighed model errors. In complex and noisy settings, model-based RL tends to have trouble using the model if it does not know when to trust the model. In this work, we find that better model usage can make a huge difference. We show theoretically that if the use of model-generated data is restricted to state-action pairs where the model error is small, the performance gap between model and real rollouts can be reduced. It motivates us to use model rollouts only when the model is confident about its predictions. We propose Masked Model-based Actor-Critic (M2AC), a novel policy optimization algorithm that maximizes a model-based lower-bound of the true value function. M2AC implements a masking mechanism based on the model's uncertainty to decide whether its prediction should be used or not. Consequently, the new algorithm tends to give robust policy improvements. Experiments on continuous control benchmarks demonstrate that M2AC has strong performance even when using long model rollouts in very noisy environments, and it significantly outperforms previous state-of-the-art methods.

研究动机与目标

• 解决基于模型强化学习中的根本挑战：在噪声环境或数据量较少的情况下，判断何时应信任模型。
• 克服现有基于模型方法在使用长滚动路径时因模型误差累积而导致性能下降的问题。
• 通过仅在模型具有信心时使用模型生成的数据，提升样本效率和鲁棒性。
• 设计一种实用算法，通过基于不确定性的掩码机制，平衡基于模型的滚动与真实环境经验。
• 证明：仅在低误差区域使用模型可得到更紧的真值价值函数上界，从而提升策略性能。

提出的方法

• 提出一种掩码机制，根据模型不确定性过滤模型生成的转移样本，仅允许高置信度预测用于策略学习。
• 引入一种考虑不确定性的基于模型的真值价值函数下界，使在掩码滚动预测中也能安全地进行策略优化。
• 使用包含一对多（OvR）不确定度估计的模型集成方法，量化预测差异并指导掩码决策。
• 实现一种线性衰减的掩码率 $ w_h = \frac{H_{\text{max}} - h}{2(H_{\text{max}} + 1)} $，随滚动深度增加逐步降低对模型滚动预测的依赖。
• 在混合演员-评论家框架中结合掩码后的模型滚动预测与真实经验回放，以稳定训练并提升泛化能力。
• 引入惩罚系数 $ \alpha $ 以平衡探索与利用，其中 $ \alpha = 0.001 $ 在消融实验中被证明为最优选择。

实验结果

研究问题

• RQ1 是否仅将基于模型的滚动预测限制在高置信度预测上，能够缩小模型与真实环境回报之间的性能差距？
• RQ2 基于不确定性的掩码机制如何影响在噪声环境或复杂环境中的样本效率与鲁棒性？
• RQ3 在连续控制任务中，长时域模型滚动预测的最优掩码策略（如掩码率、模式）是什么？
• RQ4 不确定度估计方法的选择（如OvR与OvA或负对数似然）对算法性能有何影响？
• RQ5 在动态噪声较高的环境中，基于模型的强化学习算法是否仍能在使用长滚动路径时保持强性能？

主要发现

• 在 HalfCheetah-noisy2 环境中，M2AC 显著优于 MBPO 及其他 SOTA 方法，即使在 20 步模型滚动路径下，MBPO 已失效，M2AC 仍能获得更高回报。
• 在 HalfCheetah 和 Walker2d 任务中，M2AC 在不同噪声水平和滚动长度下均保持稳定性能，而 MBPO 的性能随噪声增加迅速下降。
• 掩码率 $ w = 0.25 $（通过线性衰减实现）在各类环境和滚动长度下均表现稳健，仅在 $ w = 0.9 $ 的长滚动路径下出现轻微性能下降。
• 非停止掩码滚动模式优于硬停止模式，因其提供了更丰富的想象转移样本分布，从而增强策略泛化能力。
• 在低数据环境下，OvR 不确定度估计优于 OvA 差异度量和负对数似然，因其能更准确捕捉模型间的不一致。
• 当 $ \alpha = 0.001 $ 时，M2AC 实现了探索与利用的最佳平衡，避免了对模型的过拟合，同时仍有效利用其预测结果。