[论文解读] Multi-Step Greedy and Approximate Real Time Dynamic Programming

Yonathan Efroni, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|Sep 10, 2019

Reinforcement Learning in Robotics参考文献 20被引用 5

一句话总结

本文提出 h-RTDP，即实时动态规划（Real-Time Dynamic Programming）的多步贪心扩展，通过增加前瞻时域 h 来降低样本复杂度和空间复杂度。该文证明，更高的 h 可减少样本复杂度，同时在近似设置下仍保持渐近性能保证，使其成为首个在更大前瞻时域下具有可证明改进样本效率的算法。

ABSTRACT

Real Time Dynamic Programming (RTDP) is a well-known Dynamic Programming (DP) based algorithm that combines planning and learning to find an optimal policy for an MDP. It is a planning algorithm because it uses the MDP's model (reward and transition functions) to calculate a 1-step greedy policy w.r.t.~an optimistic value function, by which it acts. It is a learning algorithm because it updates its value function only at the states it visits while interacting with the environment. As a result, unlike DP, RTDP does not require uniform access to the state space in each iteration, which makes it particularly appealing when the state space is large and simultaneously updating all the states is not computationally feasible. In this paper, we study a generalized multi-step greedy version of RTDP, which we call $h$-RTDP, in its exact form, as well as in three approximate settings: approximate model, approximate value updates, and approximate state abstraction. We analyze the sample, computation, and space complexities of $h$-RTDP and establish that increasing $h$ improves sample and space complexity, with the cost of additional offline computational operations. For the approximate cases, we prove that the asymptotic performance of $h$-RTDP is the same as that of a corresponding approximate DP -- the best one can hope for without further assumptions on the approximation errors. $h$-RTDP is the first algorithm with a provably improved sample complexity when increasing the lookahead horizon.

研究动机与目标

• 为解决传统 RTDP 在状态访问受限的大 MDP 中样本复杂度过高的问题。
• 通过引入前瞻时域 h 的多步贪心方法，将 RTDP 推广至超过 1 步前瞻的场景。
• 分析在精确和近似设置下，样本复杂度、计算复杂度与空间复杂度之间的权衡。
• 在模型近似、值函数更新近似和状态抽象下，为 h-RTDP 建立理论保证。
• 证明 h-RTDP 在近似设置下可达到最优渐近性能，且无需对近似误差施加额外假设。

提出的方法

• 提出 h-RTDP 作为 RTDP 的推广，使用 h 步贪心备份替代 1 步备份。
• 采用仅在访问过状态时才更新的值函数，保持 RTDP 的在线学习特性。
• 引入三种近似变体：近似模型、近似值更新和近似状态抽象。
• 从样本复杂度、计算复杂度和空间复杂度角度进行分析，表明增加 h 可降低样本复杂度和空间复杂度。
• 通过理论分析证明，h-RTDP 的渐近性能与在相同假设下最优可能的近似动态规划一致。
• 建立 h-RTDP 是首个在增加前瞻时域 h 时，可证明改善样本复杂度的算法。

实验结果

研究问题

• RQ1 增加前瞻时域 h 对 RTDP 的样本复杂度和空间复杂度有何影响？
• RQ2 在模型或值函数近似存在的情况下，多步贪心方法能否保持与近似 DP 相同的渐近性能？
• RQ3 h-RTDP 中离线计算成本与在线样本效率之间的权衡是什么？
• RQ4 h-RTDP 是否在近似设置下实现了最优可能的渐近性能，且无需对近似误差施加额外假设？
• RQ5 h-RTDP 是否是首个在增加前瞻时域时可证明改善样本复杂度的算法？

主要发现

• 在 h-RTDP 中，增加前瞻时域 h 相较于标准 RTDP，可同时降低样本复杂度和空间复杂度。
• 离线计算成本随 h 增加，但可被在线效率的提升所抵消。
• 在近似设置下（包括模型、值更新或状态抽象），h-RTDP 达到了与最优可能近似 DP 相同的渐近性能。
• h-RTDP 是首个在增加前瞻时域时可证明改善样本复杂度的算法。
• 理论分析确认，h-RTDP 在与标准 RTDP 相同的假设下保持最优性保证，但具备更好的可扩展性。
• 该算法在近似设置下的性能受近似质量的限制，但无需对误差施加额外假设。