[论文解读] Robust Policy Optimization with Baseline Guarantees

Yinlam Chow, Marek Petrik+1 more|arXiv (Cornell University)|Jun 15, 2015

Reinforcement Learning in Robotics参考文献 11被引用 4

一句话总结

本文提出了一种鲁棒策略优化算法，即使在马尔可夫决策过程（MDP）模型不准确的情况下，也能保证所学策略相对于基线策略的性能改进。通过利用鲁棒优化技术，并将基线性能作为安全约束，该方法在保持计算复杂度与保守性平衡的同时，提供了理论上的性能保证。

ABSTRACT

Our goal is to compute a policy that guarantees improved return over a baseline policy even when the available MDP model is inaccurate. The inaccurate model may be constructed, for example, by system identification techniques when the true model is inaccessible. When the modeling error is large, the standard solution to the constructed model has no performance guarantees with respect to the true model. In this paper we develop algorithms that provide such performance guarantees and show a trade-off between their complexity and conservatism. Our novel model-based safe policy search algorithms leverage recent advances in robust optimization techniques. Furthermore we illustrate the effectiveness of these algorithms using a numerical example.

研究动机与目标

• 解决在MDP模型不完善的真实系统中部署学习策略时对性能保证的迫切需求。
• 确保在真实环境中，任何所提策略在模型不准确的情况下仍至少与给定基线策略性能相当。
• 开发在计算复杂度与保守性之间实现权衡的同时，仍保持安全保证的算法。
• 利用现有基线策略的性能，提升安全策略搜索的效率与实用性。
• 在模型不确定条件下，推导出相对于最优策略的性能损失的理论边界。

提出的方法

• 构建一个鲁棒MDP（RaMDP），通过系统辨识导出的误差函数来考虑转移概率中的不确定性。
• 提出一种鲁棒策略优化框架，通过在不确定性集中所有可能模型的最小期望回报上进行最大化来实现。
• 将基线策略的性能作为下界以约束搜索空间，从而在无需完整模型重估的情况下确保安全性。
• 应用鲁棒动态规划技术，包括鲁棒贝尔曼算子，以在最坏情况转移动态下计算价值函数。
• 结合状态访问频率与贝尔曼残差分析，推导出紧致的性能损失边界。
• 提出迭代式与增强式鲁棒MDP公式，逐步优化策略搜索，同时保持安全保证。

实验结果

研究问题

• RQ1 当MDP模型不准确时，如何确保学习策略在真实环境中至少与基线策略性能相当？
• RQ2 在模型不确定条件下的安全策略优化中，计算复杂度与保守性之间的权衡是什么？
• RQ3 能否通过将基线策略性能作为性能基准，来改进标准鲁棒优化方法？
• RQ4 在模型不确定条件下，鲁棒策略相对于最优策略的性能损失可推导出何种理论边界？
• RQ5 不同鲁棒MDP公式（如RaMDP、RMDP、增强式RMDP）在安全性、性能与计算成本方面的表现如何比较？

主要发现

• 所提算法保证返回的策略在真实MDP中至少与基线策略性能相当，即使模型不准确。
• 鲁棒策略的性能损失由与贝尔曼残差和模型误差成比例的项所界定，且已推导出基于误差向量L1范数的显式上界。
• 由于利用了基线策略已知的性能作为参考点，该性能损失边界比标准鲁棒方法更紧致。
• 实证验证了计算复杂度与保守性之间的权衡：更复杂的算法（如结合鲁棒与基线策略）产生更少保守、性能更高的策略。
• 理论分析表明，鲁棒策略的性能损失被界定为 $\frac{\text{BR}(\pi)}{1-\gamma} + \max_{\pi} \min_{P \in \mathcal{U}} \frac{2\gamma R_{\max}}{(1-\gamma)^2} \|e_{\pi}\|_{1,\pi}$，其中BR为贝尔曼残差。
• 数值实验证实，即使在显著的模型不确定性下，该算法仍能实现安全的策略改进，且在真实MDP中的性能接近最优策略。