[论文解读] Optimizing over a Restricted Policy Class in Markov Decision Processes

Ershad Banijamali, Yasin Abbasi-Yadkori+2 more|arXiv (Cornell University)|Feb 26, 2018

Reinforcement Learning in Robotics参考文献 2被引用 3

一句话总结

本文提出了一种高效算法，用于在马尔可夫决策过程（MDPs）中对由已知基础策略构成的凸包所定义的受限策略类进行优化。通过在占用度量的对偶空间中重新表述问题，并使用随机次梯度方法，该方法实现了与状态数呈线性关系、与基础策略数量呈多项式时间复杂度的近似最优性能——相较于策略梯度方法具有显著的计算优势，尤其在策略评估成本较高的情况下。

ABSTRACT

We address the problem of finding an optimal policy in a Markov decision process under a restricted policy class defined by the convex hull of a set of base policies. This problem is of great interest in applications in which a number of reasonably good (or safe) policies are already known and we are only interested in optimizing in their convex hull. We show that this problem is NP-hard to solve exactly as well as to approximate to arbitrary accuracy. However, under a condition that is akin to the occupancy measures of the base policies having large overlap, we show that there exists an efficient algorithm that finds a policy that is almost as good as the best convex combination of the base policies. The running time of the proposed algorithm is linear in the number of states and polynomial in the number of base policies. In practice, we demonstrate an efficient implementation for large state problems. Compared to traditional policy gradient methods, the proposed approach has the advantage that, apart from the computation of occupancy measures of some base policies, the iterative method need not interact with the environment during the optimization process. This is especially important in complex systems where estimating the value of a policy can be a time consuming process.

研究动机与目标

• 解决在由一组已知的、性能尚可或安全的基础策略构成的凸包所定义的受限策略类中寻找最优策略的挑战。
• 克服在该类中进行精确或近似优化的计算不可行性，该问题已被证明为NP难。
• 开发一种实用且高效的算法，在基础策略的占用度量表现出充分重叠时，实现接近最优的性能。
• 减少优化过程中的环境交互次数，实现在策略评估成本高昂的复杂系统中更快收敛。
• 提供一种无需依赖反向模拟器和重要性加权的方法，简化实现并收紧理论边界。

提出的方法

• 在占用度量的对偶空间中重新表述策略优化问题，其中搜索空间由基础策略占用度量的线性组合构成。
• 采用受Abbasi-Yadkori等人（2014）启发的凸松弛技术，以处理约束违反问题并实现高效优化。
• 应用随机次梯度方法最小化对偶目标，该目标虽非凸，但可通过松弛技术实现近似。
• 通过归一化占用度量的线性组合来构建有效策略，避免在优化过程中进行前向仿真。
• 一次性离线计算基础策略的平稳占用度量，随后在对偶空间中完成全部优化，无需进一步与环境交互。
• 利用占用度量之间的重叠，确保即使在原始空间为NP难的情况下，也能在对偶空间中生成非平凡且高性能的策略。

实验结果

研究问题

• RQ1 我们能否在MDPs中高效优化有限组基础策略的凸包所定义的受限策略类？
• RQ2 是否可能在基础策略数量上呈多项式时间复杂度、与状态数呈线性依赖关系的前提下，实现该受限类中的近似最优性能？
• RQ3 基础策略占用度量的重叠程度如何影响对偶空间优化的性能与可行性？
• RQ4 我们能否消除优化过程中对重复环境交互的依赖，尤其是在策略评估成本高昂的情况下？
• RQ5 在该设置下，使用占用度量的对偶空间相较于传统策略梯度方法，具有哪些理论和实证优势？

主要发现

• 在MDPs中对基础策略的凸包进行优化的问题，精确求解和任意精度近似求解均被证明为NP难。
• 当基础策略的占用度量具有显著重叠时，所提出的对偶空间算法可找到与最优基础策略凸组合性能几乎相当的策略。
• 该算法的时间复杂度与状态数呈线性关系，与基础策略数量呈多项式关系，相较于策略梯度方法具有显著的计算优势。
• 在8队列问题中，对偶空间方法以最优对偶权重θ = [1.1246, -0.1143, -0.0102] 实现成本20.59，优于基础策略，并以远低于策略梯度方法的计算成本逼近了19.14的最优结果。
• 该方法避免了重要性加权和反向模拟器的使用，简化了实现，并相比先前的对偶空间方法收紧了误差边界。
• 实证结果表明，在策略评估成本较高的环境中，对偶空间的随机次梯度方法收敛速度更快且方差更低，优于策略梯度方法。