[论文解读] Safe Policy Improvement by Minimizing Robust Baseline Regret

Marek Petrik, Yinlam Chow+1 more|arXiv (Cornell University)|Jul 13, 2016

Probabilistic and Robust Engineering Design被引用 68

一句话总结

本文提出了一种鲁棒优化框架，通过最小化相对于基线策略的遗憾来确保在基于模型的强化学习中实现安全的策略改进。通过利用一个不精确但有界的动力学模型，该方法自适应地结合了学习到的策略与基线策略，在存在显著模型不确定性的情况下，仍优于标准方法。

ABSTRACT

An important problem in sequential decision-making under uncertainty is to use limited data to compute a safe policy, i.e., a policy that is guaranteed to perform at least as well as a given baseline strategy. In this paper, we develop and analyze a new model-based approach to compute a safe policy when we have access to an inaccurate dynamics model of the system with known accuracy guarantees. Our proposed robust method uses this (inaccurate) model to directly minimize the (negative) regret w.r.t. the baseline policy. Contrary to the existing approaches, minimizing the regret allows one to improve the baseline policy in states with accurate dynamics and seamlessly fall back to the baseline policy, otherwise. We show that our formulation is NP-hard and propose an approximate algorithm. Our empirical results on several domains show that even this relatively simple approximate algorithm can significantly outperform standard approaches.

研究动机与目标

• 解决在模型准确性因状态而异时部署改进策略的挑战。
• 通过保证新策略的性能至少与基线策略相当，提供性能保障。
• 克服现有方法的局限性，这些方法要么完全替换基线策略，要么不进行任何改进，尤其是在非均匀模型不确定性下。
• 提出一种基于遗憾最小化的有原则方法，以状态依赖方式结合学习到的策略与基线策略。
• 提供性能和计算复杂度的理论保证，表明该问题为NP难，但可通过近似方法求解。

提出的方法

• 制定一个鲁棒优化问题，通过使用具有已知误差边界的模型，最小化相对于基线策略的负遗憾。
• 引入一种鲁棒基线遗憾目标，统一处理学习策略和基线策略中的不确定性。
• 允许解空间中包含随机策略，因为确定性策略可能不足以实现最优遗憾最小化。
• 提出一种近似算法以求解NP难问题，实现实际部署。
• 采用基于模型的方法，结合模拟器和误差函数以捕捉模型不准确性，确保保守的性能估计。
• 将该方法应用于具有折扣无限时域规划的MDP，使用已知奖励函数和有界转移误差。

实验结果

研究问题

• RQ1 我们能否设计一种策略改进方法，使得在模型不确定性下，新策略的性能至少与基线策略相当？
• RQ2 当模型准确性因状态而异时，如何有效实现学习策略与基线策略的逐状态结合？
• RQ3 在具有不确定动力学的MDP中，最小化相对于基线策略的鲁棒遗憾的理论复杂度是什么？
• RQ4 所提出的遗憾最小化框架与标准基于模型和无模型的安全策略改进方法相比表现如何？
• RQ5 简单的近似算法是否能在实际中显著优于标准方法？

主要发现

• 所提出的鲁棒基线遗憾最小化框架保证了所得策略的性能至少与基线策略相当。
• 该方法实现了状态特定的策略混合——在模型准确时使用学习策略，在不确定性较高时回退到基线策略。
• 证明了最小化鲁棒基线遗憾的问题为NP难，因此需要使用近似算法。
• 即使是一个简单的近似算法，在实验领域（包括网格世界和能源套利任务）中也显著优于标准基于模型的方法。
• 该方法通过直接最小化遗憾而非比较悲观和乐观估计，避免了悲观评估方法中常见的过度保守决策。
• 实验结果表明，在能源套利和网格世界环境中，性能有显著提升，尤其当模型误差在不同状态间非均匀分布时。