[论文解读] Selective Dyna-style Planning Under Limited Model Capacity

Zaheer Abbas, Samuel Sokota+2 more|arXiv (Cornell University)|Jul 5, 2020

Artificial Intelligence in Games参考文献 43被引用 6

一句话总结

本文提出了一种选择性Dyna风格规划方法，利用预测不确定性避免在模型不完善时进行有害规划。通过结合异方差回归以检测模型不足，以及参数不确定性，该方法即使在模型容量有限的情况下，也能实现鲁棒且样本高效的强化学习，优于非选择性规划和基于集成的不确定性估计方法。

ABSTRACT

In model-based reinforcement learning, planning with an imperfect model of the environment has the potential to harm learning progress. But even when a model is imperfect, it may still contain information that is useful for planning. In this paper, we investigate the idea of using an imperfect model selectively. The agent should plan in parts of the state space where the model would be helpful but refrain from using the model where it would be harmful. An effective selective planning mechanism requires estimating predictive uncertainty, which arises out of aleatoric uncertainty, parameter uncertainty, and model inadequacy, among other sources. Prior work has focused on parameter uncertainty for selective planning. In this work, we emphasize the importance of model inadequacy. We show that heteroscedastic regression can signal predictive uncertainty arising from model inadequacy that is complementary to that which is detected by methods designed for parameter uncertainty, indicating that considering both parameter uncertainty and model inadequacy may be a more promising direction for effective selective planning than either in isolation.

研究动机与目标

• 为解决在基于模型的强化学习中使用不完美模型所带来的挑战，因为表现不佳的模型可能对学习造成损害。
• 开发一种选择性规划机制，仅在模型可靠时使用，避免在模型不准确的区域进行规划。
• 研究模型不足（与参数不确定性不同）作为有限容量设置下预测不确定性的关键来源的作用。
• 评估将参数不确定性与模型不足相结合是否能带来比单独使用任一方法更鲁棒的规划效果。
• 证明通过异方差回归学习到的方差可以指示标准不确定性量化方法未捕捉到的模型不足。

提出的方法

• 该方法使用异方差回归来估计与输入相关的预测方差，从而在模型容量有限时捕捉由于模型不足引起的不确定性。
• 选择性MVE（基于模型的价值扩展）根据学习到的方差对多步TD目标进行加权，从而在高不确定性区域减少对模型的依赖。
• 该方法将异方差回归的不确定性估计与集成方差相结合，以提高鲁棒性。
• 模型通过异方差损失函数进行训练，允许预测方差随输入变化，从而实现对模型不足区域的检测。
• 通过与经验回放缓冲区中真实平方误差的相关性来评估不确定性，以验证预测不确定性的质量。
• 实验对比了基于学习方差的选择性MVE与使用集成方差和非选择性MVE的变体。

实验结果

研究问题

• RQ1 在模型容量有限的情况下，能否有效检测并利用由模型不足引起的预测不确定性来指导选择性规划？
• RQ2 与单独使用任一方法相比，基于异方差回归的不确定性与基于集成的不确定性相结合是否能提升规划的鲁棒性？
• RQ3 在模型不完美时，基于学习方差的选择性规划能否防止基于模型的价值扩展中出现灾难性失败？
• RQ4 在有限容量设置下，集成方差的性能为何随时间退化，以及其退化机制如何？
• RQ5 异方差回归的预测不确定性是否与参数不确定性的预测不确定性具有互补性，从而更有效地指导选择性规划？

主要发现

• 异方差回归能够检测到标准参数不确定性方法未捕捉到的、由模型不足引起的预测不确定性。
• 基于学习方差的选择性MVE优于非选择性MVE，并且即使在模型不准确时也能防止规划失败。
• 集成方差在训练初期表现良好，但随着预测结果收敛而后期性能崩溃，导致其可靠性随时间下降。
• 在整个训练过程中，集成与异方差回归相结合的方差与真实误差的相关性强于任一方法单独使用时的表现。
• 结果表明，在模型容量有限的设置下，模型不足是不确定性的重要来源，必须与参数不确定性一并处理，才能实现有效的选择性规划。
• 所提出的方法在使用不完美模型时实现了样本高效的强化学习，证明了基于全面不确定性估计的选择性规划是可行且优于非选择性或仅使用集成的方法。