[论文解读] Optimizing Percentile Criterion Using Robust MDPs

Bahram Behzadian, Reazul Hasan Russel+2 more|arXiv (Cornell University)|Oct 23, 2019

Reinforcement Learning in Robotics参考文献 31被引用 5

一句话总结

该论文提出了一种新颖方法，在数据稀缺的强化学习中通过最小化鲁棒马尔可夫决策过程（RMDPs）中模糊集的跨度来优化百分位数准则。通过使用加权 $L_1$ 和 $L_∞$ 范数来塑造模糊集，该方法显著减少了性能损失，与均匀范数基线相比，实现了高达 2.8 倍的贝叶斯回报保证提升和 1.6 倍的频率学保证提升。

ABSTRACT

We address the problem of computing reliable policies in reinforcement learning problems with limited data. In particular, we compute policies that achieve good returns with high confidence when deployed. This objective, known as the \emph{percentile criterion}, can be optimized using Robust MDPs~(RMDPs). RMDPs generalize MDPs to allow for uncertain transition probabilities chosen adversarially from given ambiguity sets. We show that the RMDP solution's sub-optimality depends on the spans of the ambiguity sets along the value function. We then propose new algorithms that minimize the span of ambiguity sets defined by weighted $L_1$ and $L_\infty$ norms. Our primary focus is on Bayesian guarantees, but we also describe how our methods apply to frequentist guarantees and derive new concentration inequalities for weighted $L_1$ and $L_\infty$ norms. Experimental results indicate that our optimized ambiguity sets improve significantly on prior construction methods.

研究动机与目标

• 通过最大化高置信度回报保证来提升低数据强化学习中策略的可靠性。
• 解决现有方法中由于模糊集形状不佳导致的 RMDP 策略次优性问题。
• 开发一种沿价值函数方向最小化模糊集跨度的方法，以增强性能边界。
• 推导加权 $L_1$ 和 $L_\infty$ 范数在贝叶斯和频率学设置下的新集中不等式。
• 通过实证验证，跨度优化的模糊集相较于标准构造方法可显著提升回报保证。

提出的方法

• 提出一种新的 RMDP 性能损失边界，其依赖于沿价值函数方向的模糊集跨度，而非其体积。
• 引入通过加权 $L_1$ 和 $L_\infty$ 范数定义的非对称模糊集，以更好地捕捉转移概率中的不确定性。
• 设计一种线性时间算法，用于优化这些范数的权重，以最小化模糊集跨度，从而提升鲁棒性。
• 推导出支持贝叶斯和频率学不确定性量化的加权 $L_1$ 和 $L_\infty$ 范数的新高置信度集中不等式。
• 将在 RMDP 框架中应用优化后的模糊集，以计算在认知不确定性下具有更紧回报保证的策略。
• 采用两阶段方法：首先优化权重以最小化跨度，然后利用采样保证校准模糊集的大小。

实验结果

研究问题

• RQ1 沿价值函数方向的模糊集跨度在多大程度上影响 RMDP 策略的性能损失？
• RQ2 通过加权 $L_1$ 和 $L_\infty$ 范数优化模糊集形状，是否能相比均匀范数构造减少 RMDP 策略的性能损失？
• RQ3 支持 RMDP 中贝叶斯和频率学不确定性量化的加权 $L_1$ 和 $L_\infty$ 范数的新集中不等式是什么？
• RQ4 跨度优化的模糊集在贝叶斯和频率学设置下，能在多大程度上提升回报保证？
• RQ5 所提方法的计算复杂度如何随状态空间大小变化？是否可扩展至大规模问题？

主要发现

• RMDP 策略的性能损失主要由沿价值函数方向的模糊集跨度决定，而非其体积。
• 与均匀范数基线相比，通过优化 $L_1$ 和 $L_\infty$ 范数权重，贝叶斯设置下的归一化性能损失几何平均降低 2.8 倍。
• 在频率学设置下，优化后的模糊集使归一化性能损失几何平均降低 1.6 倍，相比均匀构造。
• 所提方法通过同时计算更优的策略和更精确的性能边界，实现了更紧的回报保证。
• 所提算法的计算复杂度保持较低，模糊集权重的优化为线性时间。
• 在五个基准 MDP（RiverSwim、Machine Replacement、Population Growth、Inventory Management、Cart-Pole）上的实证结果表明，该方法在多样化领域中均表现出一致的性能提升。