[论文解读] On the Performance Bounds of some Policy Search Dynamic Programming Algorithms

Bruno Scherrer|arXiv (Cornell University)|Jun 3, 2013

Reinforcement Learning in Robotics参考文献 21被引用 6

一句话总结

本文分析了在无限时域折扣 MDP 中，策略搜索动态规划算法的性能界限，提出非平稳直接策略迭代（NSDPI），在保持 DPI 类似的计算效率的同时，实现类似 CPI 的性能保证。结果表明，NSDPI 结合了 CPI 的优越集中常数与 DPI 的低迭代复杂度，是现有算法中整体理论界限最优的方案。

ABSTRACT

We consider the infinite-horizon discounted optimal control problem formalized by Markov Decision Processes. We focus on Policy Search algorithms, that compute an approximately optimal policy by following the standard Policy Iteration (PI) scheme via an -approximate greedy operator (Kakade and Langford, 2002; Lazaric et al., 2010). We describe existing and a few new performance bounds for Direct Policy Iteration (DPI) (Lagoudakis and Parr, 2003; Fern et al., 2006; Lazaric et al., 2010) and Conservative Policy Iteration (CPI) (Kakade and Langford, 2002). By paying a particular attention to the concentrability constants involved in such guarantees, we notably argue that the guarantee of CPI is much better than that of DPI, but this comes at the cost of a relative--exponential in $\\frac{1}{\\epsilon}$-- increase of time complexity. We then describe an algorithm, Non-Stationary Direct Policy Iteration (NSDPI), that can either be seen as 1) a variation of Policy Search by Dynamic Programming by Bagnell et al. (2003) to the infinite horizon situation or 2) a simplified version of the Non-Stationary PI with growing period of Scherrer and Lesner (2012). We provide an analysis of this algorithm, that shows in particular that it enjoys the best of both worlds: its performance guarantee is similar to that of CPI, but within a time complexity similar to that of DPI.

研究动机与目标

• 比较关键策略搜索算法（DPI、CPI 和 NSDPI）的理论性能界限，重点关注集中常数与迭代复杂度。
• 识别现有界限的局限性，特别是对 $C^{(2)}$ 等最坏情况集中常数的依赖，这些常数可能为无穷大。
• 提出 NSDPI 作为一种新算法，统一 CPI（强性能保证）与 DPI（低时间复杂度）的最佳特性。
• 通过一种新型证明技术，提供更精细的理论分析，得到涉及更优集中常数的紧致界。

提出的方法

• 提出非平稳直接策略迭代（NSDPI），作为面向无限时域 MDP 的动态规划策略搜索的变体。
• 引入一种新型证明技术，推导出使用更优集中常数（如 $C_{\rho}^{(1)}$ 和 $C_{\rho}$）的性能界限，这些常数依赖于策略的访问分布。
• 使用扩展的现有界限版本分析 DPI 和 CPI，表明 CPI 的集中常数 $C_{\rho}$ 严格优于 DPI 的 $C^{(2)}$。
• 证明 NSDPI 实现与 CPI 相同的性能保证（通过 $C_{\rho}$），但迭代复杂度与 DPI 一致，而非 CPI 的更高开销。
• 建立集中常数的层级关系：$C^{(2)} \prec C^{(1)} \prec C_{\rho}^{(1)} \prec C_{\rho}$，其中 $C_{\rho}$ 为最紧致者。
• 通过小规模领域的初步数值实验验证理论发现，显示 NSDPI 和 CPI 变体在实践中优于 DPI。

实验结果

研究问题

• RQ1 DPI 和 CPI 的性能界限中的集中常数如何比较，哪一个能提供更紧致的理论保证？
• RQ2 能否设计一种算法，实现 CPI 的强性能边界，同时保持 DPI 的低迭代复杂度？
• RQ3 不同集中常数（$C^{(2)}$、$C^{(1)}$、$C_{\rho}^{(1)}$、$C_{\rho}$）对策略搜索算法的理论与实际性能有何影响？
• RQ4 本文引入的新型证明技术是否能为现有算法（如 DPI 和 CPI）带来改进的边界？
• RQ5 NSDPI 在收敛速度与稳定性方面，与 DPI、CPI 和 CPI(α) 的实证表现如何比较？

主要发现

• NSDPI 实现了与保守策略迭代（CPI）相同的性能保证，其集中常数为 $C_{\rho}$，该常数比标准值迭代和 AVI 中使用的 $C^{(2)}$ 更紧致。
• NSDPI 的迭代复杂度与直接策略迭代（DPI）一致，仅需 $\tilde{O}(\log \frac{1}{\epsilon})$ 次迭代，而 CPI 需要 $\tilde{O}(\frac{1}{\epsilon})$ 次迭代。
• CPI 边界中的集中常数 $C_{\rho}$ 依赖于最优策略的访问分布，因此显著小于依赖最坏情况 MDP 动力学的 $C^{(2)}$ 和 $C^{(1)}$。
• NSDPI 的第二个边界涉及 $C_{\rho}^{(1)}$，其收敛速率提升至 $O(\frac{1}{1-\gamma})$ 次迭代，优于 CPI 的 $O(\frac{1}{(1-\gamma)^3})$ 复杂度。
• 本文建立了集中常数的层级关系：$C^{(2)} \prec C^{(1)} \prec C_{\rho}^{(1)} \prec C_{\rho}$，其中 $C_{\rho}$ 为最紧致且在实践中最具意义的常数。
• 初步实验表明，NSDPI 的性能波动最小，而 CPI(α) 和 CPI+ 在平均表现上优于 DPI，支持了更紧致集中常数的理论优势。