[论文解读] Partial Policy Iteration for L1-Robust Markov Decision Processes

Chin Pang Ho, Marek Petrik+1 more|arXiv (Cornell University)|Jun 16, 2020

Reinforcement Learning in Robotics参考文献 48被引用 8

一句话总结

本文提出部分策略迭代（PPI）以及快速同伦/二分法算法，用于求解具有 s- 和 sa- 矩形模糊集的 L₁-鲁棒 MDP。通过以准线性时间计算鲁棒贝尔曼算子并利用高效的策略迭代，该方法相较基于线性规划（LP）的方法实现了高达四个数量级的速度提升，同时保持了与标准 MDP 相当的可扩展性，并确保收敛性保证。

ABSTRACT

Robust Markov decision processes (MDPs) allow to compute reliable solutions for dynamic decision problems whose evolution is modeled by rewards and partially-known transition probabilities. Unfortunately, accounting for uncertainty in the transition probabilities significantly increases the computational complexity of solving robust MDPs, which severely limits their scalability. This paper describes new efficient algorithms for solving the common class of robust MDPs with s- and sa-rectangular ambiguity sets defined by weighted $L_1$ norms. We propose partial policy iteration, a new, efficient, flexible, and general policy iteration scheme for robust MDPs. We also propose fast methods for computing the robust Bellman operator in quasi-linear time, nearly matching the linear complexity the non-robust Bellman operator. Our experimental results indicate that the proposed methods are many orders of magnitude faster than the state-of-the-art approach which uses linear programming solvers combined with a robust value iteration.

研究动机与目标

• 解决具有 L₁ 模糊转移概率的鲁棒 MDP 所带来的高计算成本问题。
• 克服在鲁棒值迭代与策略迭代中每一步均需求解线性规划的瓶颈。
• 开发一种通用、高效且可扩展的框架，适用于 s- 和 sa- 矩形模糊集。
• 实现接近标准 MDP 的计算复杂度，同时保持收敛性与鲁棒性。
• 通过引入针对鲁棒贝尔曼算子的专用快速算法，消除对昂贵商业 LP 求解器的依赖。

提出的方法

• 提出部分策略迭代（PPI），作为专为鲁棒 MDP 设计的改进策略迭代的推广，具备与鲁棒值迭代和策略迭代相当的收敛性保证。
• 引入同伦延续法，通过追踪模糊程度增加时的最坏情况转移，实现对 sa- 矩形 L₁ 模糊集的鲁棒贝尔曼算子的准线性时间计算。
• 为 s- 矩形 L₁ 模糊集开发基于二分法的分解方法，将问题转化为一系列使用同伦法的 sa- 矩形计算。
• 将 PPI 与同伦法及二分法结合，形成一个完整且可扩展的框架，用于求解鲁棒 MDP，且无需依赖通用 LP 求解器。
• 利用 L₁ 模糊集的多面体结构，通过排序与增量更新实现对最坏情况转移概率的高效计算。
• 通过在保持策略迭代结构的同时适应鲁棒优化场景，确保理论收敛速度达到线性速率。

实验结果

研究问题

• RQ1 能否在保持收敛性与效率的前提下，将策略迭代推广至具有 L₁ 模糊集的鲁棒 MDP？
• RQ2 能否以准线性时间计算 sa- 矩形 L₁ 模糊集的鲁棒贝尔曼算子，从而避免通用 LP 求解器带来的四次方时间复杂度？
• RQ3 尽管存在非凸结构且需要随机化策略，能否高效求解 s- 矩形鲁棒 MDP？
• RQ4 将 PPI 与快速贝尔曼算子计算相结合，是否能显著提升相对于最先进基于 LP 的鲁棒值迭代方法的性能？
• RQ5 所提出的框架能否在 LP 求解器变得不可行的大规模问题中实现有效扩展？

主要发现

• 所提出的 PPI 方法在速度上相较鲁棒值迭代最高可提升 100 倍，尤其在策略改进步骤计算成本较高的问题中性能增益最为显著。
• 同伦法实现了对 sa- 矩形 L₁ 模糊集的鲁棒贝尔曼算子的准线性时间计算，复杂度接近线性，与非鲁棒贝尔曼算子相当。
• 结合同伦算法的二分法实现了对 s- 矩形鲁棒贝尔曼算子的准线性计算，成功克服了随机化策略带来的挑战。
• 整体框架相较最先进方法（结合鲁棒值迭代与商业 LP 求解器）实现了高达四个数量级的速度提升。
• 该方法在问题规模增大时表现出良好的可扩展性，且在 LP 求解器变得不可行的更大实例中，优势预计将进一步显著扩大。
• 实验表明，PPI 在效率上优于鲁棒改进策略迭代（RMPI），后者常因低效的值迭代子程序而表现受限。