[论文解读] Non-Stationary Markov Decision Processes, a Worst-Case Approach using Model-Based Reinforcement Learning, Extended version

Erwan Lecarpentier, Emmanuel Rachelson|arXiv (Cornell University)|Apr 22, 2019

Reinforcement Learning in Robotics参考文献 31被引用 4

一句话总结

本文提出风险规避树搜索（RATS），一种用于具有利普希茨连续时变动态的非平稳马尔可夫决策过程（NSMDP）的基于模型强化学习算法。RATS 通过将环境变化视为对抗性因素，对最坏情况下的模型演化进行规划，确保在所有可能演化路径下均具备鲁棒性能，并最大化最坏情况下的回报，该方法在具有不同环境漂移的网格世界基准中得到实证验证。

ABSTRACT

This work tackles the problem of robust zero-shot planning in non-stationary stochastic environments. We study Markov Decision Processes (MDPs) evolving over time and consider Model-Based Reinforcement Learning algorithms in this setting. We make two hypotheses: 1) the environment evolves continuously with a bounded evolution rate; 2) a current model is known at each decision epoch but not its evolution. Our contribution can be presented in four points. 1) we define a specific class of MDPs that we call Non-Stationary MDPs (NSMDPs). We introduce the notion of regular evolution by making an hypothesis of Lipschitz-Continuity on the transition and reward functions w.r.t. time; 2) we consider a planning agent using the current model of the environment but unaware of its future evolution. This leads us to consider a worst-case method where the environment is seen as an adversarial agent; 3) following this approach, we propose the Risk-Averse Tree-Search (RATS) algorithm, a zero-shot Model-Based method similar to Minimax search; 4) we illustrate the benefits brought by RATS empirically and compare its performance with reference Model-Based algorithms.

研究动机与目标

• 解决在 MDP 随时间以有界变化速率演化的时间非平稳随机环境中实现鲁棒规划的问题。
• 形式化一类具有时间利普希茨连续转移和奖励函数的非平稳 MDP（NSMDP）类。
• 开发一种在模型不确定性下运行的规划算法——仅知道当前模型而不知其未来演化——通过假设最坏情况下的环境演化。
• 设计一种方法，以最大化所有可能未来环境演化下可实现回报的最小值，从而确保鲁棒性。
• 通过实证验证，所提方法在最坏情况性能保证方面优于标准基于模型的方法。

提出的方法

• 将非平稳 MDP（NSMDP）定义为具有时变转移和奖励函数的时变 MDP，并对两者在时间上假设利普希茨连续性。
• 提出一种最坏情况规划方法，将环境视为旨在最小化智能体回报的对抗性代理。
• 提出风险规避树搜索（RATS）算法，一种类似极小化极大（minimax）的搜索方法，基于最坏情况假设对可能的未来模型演化进行树状规划。
• 使用搜索深度参数 $d_{\text{max}}$ 控制对最坏情况未来模型的近似程度，叶节点表示终止状态。
• 应用 RATS 计算在所有可能演化下均能最大化回报下限的策略，从而确保鲁棒性。
• 在通过参数 $\epsilon$ 控制环境漂移的网格世界环境中，将 RATS 与基线基于模型的算法（如 DP-snapshot、DP-NSMDP）进行比较。

实验结果

研究问题

• RQ1 当智能体仅知道当前模型而不知其未来演化时，基于模型的强化学习智能体是否能在非平稳环境中实现鲁棒性能？
• RQ2 在具有时间变化动态且满足利普希茨连续性约束的 NSMDP 中，如何形式化最坏情况规划？
• RQ3 假设环境演化为对抗性时，采用类似极小化极大风格的规划方法是否能比标准期望回报最大化方法提供更好的最坏情况性能保证？
• RQ4 与传统基于模型的规划器相比，所提方法在多大程度上降低了对环境漂移的敏感性？
• RQ5 在模型演化受约束的条件下，是否能通过有限深度的树搜索有效近似最坏情况回报？

主要发现

• RATS 在 $\epsilon$ 的所有取值下均表现出一致的高性能，$\epsilon$ 控制环境漂移的方向，表明其对模型演化的鲁棒性。
• DP-snapshot 仅在 $\epsilon=0$（有利漂移）时表现良好，但在 $\epsilon=1$ 时灾难性失败，凸显其缺乏鲁棒性。
• RATS 的回报分布相比基线方法显著缩短了左尾，表明低回报的风险更低。
• RATS 在 5% 的条件风险价值（CVaR）上表现最佳，优于优化期望回报的 DP-snapshot 和 DP-NSMDP。
• RATS 的最坏情况回报在所有可能演化中均被最大化，证实其成功优化了可实现的最小结果。
• 实证结果表明，即使环境以对抗性方式演化，RATS 仍能保持强大性能，验证了其最坏情况规划方法的有效性。