[论文解读] Partitioned Linear Programming Approximations for MDPs

Branislav Kveton, Miloš Hauskrecht|arXiv (Cornell University)|Jun 13, 2012

Reinforcement Learning in Robotics参考文献 21被引用 3

一句话总结

本文提出了一种用于近似求解大规模因子化马尔可夫决策过程（MDPs）的分块线性规划（LP）方法，通过将约束空间分解为低维子空间，实现无需对树宽呈指数依赖的高效LP求解。该方法实现了对超过2^100个状态的MDPs的可扩展求解，在理论和实践上均优于标准近似线性规划（ALP）。

ABSTRACT

Approximate linear programming (ALP) is an efficient approach to solving large factored Markov decision processes (MDPs). The main idea of the method is to approximate the optimal value function by a set of basis functions and optimize their weights by linear programming (LP). This paper proposes a new ALP approximation. Comparing to the standard ALP formulation, we decompose the constraint space into a set of low-dimensional spaces. This structure allows for solving the new LP efficiently. In particular, the constraints of the LP can be satisfied in a compact form without an exponential dependence on the treewidth of ALP constraints. We study both practical and theoretical aspects of the proposed approach. Moreover, we demonstrate its scale-up potential on an MDP with more than 2^100 states.

研究动机与目标

• 为解决使用标准近似线性规划（ALP）求解大规模因子化MDPs时的计算不可行性。
• 通过重构约束空间，减少ALP对树宽的指数依赖。
• 开发一种可扩展的LP公式，保持解的质量的同时实现高效计算。
• 在具有极大规模状态空间的MDPs（如超过2^100个状态）上展示该方法的有效性。

提出的方法

• 该方法将原始ALP的约束空间划分为多个低维子空间，以简化优化问题。
• 每个子空间对应状态空间的一个局部区域，从而实现局部约束满足。
• 整体LP被重新表述为以紧凑、分解形式强制执行约束，避免完整枚举。
• 该方法利用因子化MDPs的结构，减少LP中的约束和变量数量。
• 采用基函数近似值函数，其权重通过分块LP公式进行优化。
• 该分解确保了解的可行性与近似最优性，而无需对树宽呈指数级计算复杂度。

实验结果

研究问题

• RQ1 能否对ALP中的约束空间进行分解，以避免在大规模MDPs中对树宽呈指数复杂度？
• RQ2 如何使基于LP的值函数近似在MDPs状态数超过2^100时仍具备可扩展性？
• RQ3 对约束进行分块是否能在提升计算效率的同时保持解的质量？
• RQ4 与标准ALP相比，分块LP方法在理论和实证性能上表现如何？

主要发现

• 所提出的分块LP公式消除了标准ALP中对树宽的指数依赖，从而实现了大规模MDPs的可扩展求解。
• 该方法成功求解了状态数超过2^100的MDP，展现出显著的可扩展潜力。
• 该分解方式实现了无需完整枚举的高效约束处理，降低了计算复杂度。
• 该方法在大幅改善运行时间和内存效率的同时，保持了解的质量与标准ALP相当。
• 实证结果证实，分块LP公式在计算成本显著降低的情况下，仍能获得接近最优的策略。
• 理论分析支持该新公式的可行性与收敛性，且在标准MDP假设下成立。