[论文解读] On the convergence of optimistic policy iteration for stochastic shortest path problem

Yuanlong Chen|arXiv (Cornell University)|Aug 27, 2018

Optimization and Search Problems参考文献 4被引用 3

一句话总结

该论文在折扣与非折扣（α=1）设置下，针对随机最短路径问题，使用蒙特卡洛方法和TD(λ)方法进行策略评估，建立了乐观策略迭代的收敛性。证明了在适当策略下，该算法可收敛至最优代价到目标函数，收敛性通过压缩映射论证及值更新中的有界误差传播得以保证。

ABSTRACT

In this paper, we prove some convergence results of a special case of optimistic policy iteration algorithm for stochastic shortest path problem. We consider both Monte Carlo and $TD(λ)$ methods for the policy evaluation step under the condition that the termination state will eventually be reached almost surely.

研究动机与目标

• 建立在折扣因子α=1条件下，针对随机最短路径问题的乐观策略迭代的收敛性。
• 分析当策略评估使用蒙特卡洛或TD(λ)方法且在适当策略下时，算法的收敛行为。
• 证明即使策略评估存在近似，该算法仍可收敛至最优代价到目标向量。
• 将先前关于策略迭代收敛性的结果扩展至具有有界误差值更新的乐观设置。

提出的方法

• 使用标准动态规划算子T和Tμ分别进行值函数和策略评估。
• 采用最大范数和加权最大范数分析值向量的收敛性。
• 通过序列Yt和Ytl使用压缩论证和比较原理，以限制误差传播。
• 引入一个截断过程v^l(t)，以处理类似鞅的噪声项，并在方差有界的条件下确保收敛。
• 利用关键不等式T_{μ_t}^{k+1}J_t ≤ TJ_t + ε，其中t和k足够大，该不等式由有界性及limsup(c_t) ≤ 0推导得出。
• 通过递归更新式J_{t+1} ≤ (1−γ_t)J_t + γ_t(TJ_t + ε) + γ_tω_t建立收敛性，其中ε可任意小。

实验结果

研究问题

• RQ1 当策略评估通过蒙特卡洛或TD(λ)方法近似时，乐观策略迭代是否收敛？
• RQ2 在随机最短路径问题的α=1情形下，且在适当策略条件下，是否可保证收敛？
• RQ3 策略评估中的有界误差如何影响值函数向最优解收敛的行为？
• RQ4 在存在近似误差的情况下，何种条件可确保值向量序列收敛至最优代价到目标向量？
• RQ5 该收敛性证明能否推广至具有通用策略评估方案的乐观策略迭代框架？

主要发现

• 在所有策略均为适当策略且α=1的假设下，该算法收敛至最优代价到目标向量J*。
• 对任意ε>0，存在一个时间t(ε)，使得对所有t≥t(ε)，近似策略评估满足(1−λ)∑λ^k T_{μ_t}^{k+1}J_t ≤ TJ_t + εe。
• 值向量序列J_t在t→∞时收敛至J*，且由于噪声和误差项逐渐减小，误差c_t的上极限被限制为0。
• 使用截断过程v^l(t)可确保误差序列v_t不破坏收敛性，从而使得Y_t收敛至εe，因此当ε→0时，Y_t → 0。
• 收敛性证明依赖于使用Y_t的比较论证，该论证表明Y_t收敛至εe，意味着值更新中的误差在极限下消失。
• 该结果对蒙特卡洛和TD(λ)策略评估均成立，前提是策略评估误差保持有界且策略为适当策略。