[论文解读] Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes

Aaron Sidford, Mengdi Wang+2 more|arXiv (Cornell University)|Oct 27, 2017

Reinforcement Learning in Robotics参考文献 29被引用 4

一句话总结

本文提出了一类方差缩减的值迭代算法，可在解决折扣马尔可夫决策过程（DMDPs）时实现近乎线性和次线性的时间复杂度。通过将经典值迭代与新颖的采样和方差缩减技术相结合，作者开发出运行时间对状态空间大小、动作空间、折扣因子和精度依赖性更优的更快算法，实现了针对中间折扣因子的首个近乎线性收敛、近乎线性时间的算法。

ABSTRACT

In this paper we provide faster algorithms for approximately solving discounted Markov Decision Processes in multiple parameter regimes. Given a discounted Markov Decision Process (DMDP) with $|S|$ states, $|A|$ actions, discount factor $γ\in(0,1)$, and rewards in the range $[-M, M]$, we show how to compute an $ε$-optimal policy, with probability $1 - δ$ in time \[ ilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} ight) \log\left( \frac{M}ε ight) \log\left( \frac{1}δ ight) ight) ~ . \] This contribution reflects the first nearly linear time, nearly linearly convergent algorithm for solving DMDPs for intermediate values of $γ$. We also show how to obtain improved sublinear time algorithms provided we can sample from the transition function in $O(1)$ time. Under this assumption we provide an algorithm which computes an $ε$-optimal policy with probability $1 - δ$ in time \[ ilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ ight) ight) ~. \] Lastly, we extend both these algorithms to solve finite horizon MDPs. Our algorithms improve upon the previous best for approximately computing optimal policies for fixed-horizon MDPs in multiple parameter regimes. Interestingly, we obtain our results by a careful modification of approximate value iteration. We show how to combine classic approximate value iteration analysis with new techniques in variance reduction. Our fastest algorithms leverage further insights to ensure that our algorithms make monotonic progress towards the optimal value. This paper is one of few instances in using sampling to obtain a linearly convergent linear programming algorithm and we hope that the analysis may be useful more broadly.

研究动机与目标

• 开发更快的近似求解折扣马尔可夫决策过程（DMDPs）的算法，改进对状态空间大小、动作空间、折扣因子和精度等关键参数的运行时间依赖性。
• 实现DMDPs的近乎线性时间复杂度和近乎线性收敛，尤其针对折扣因子γ的中间取值。
• 将所提算法扩展至有限horizon MDPs，并在多个参数范围内超越现有的次线性时间算法。
• 利用采样和方差缩减技术，确保向最优值函数单调推进，同时保持高概率精度保证。
• 通过将经典值迭代与现代优化技术结合，建立求解DMDPs的新复杂度基准。

提出的方法

• 作者通过引入方差缩减技术来减少值函数更新中的噪声，从而改进近似值迭代的收敛速度。
• 提出一种随机算法，可在O(1)时间内采样转移，并使用方差缩减的随机逼近方法计算具有有界误差的值函数估计。
• 关键创新在于使用偏移向量将值函数更新与转移采样过程解耦，从而实现更紧的集中界限。
• 对于有限horizon MDPs，算法在时间跨度段上递归应用方差缩减的值迭代，并采用递归策略精炼策略。
• 通过仔细控制随机梯度中的方差并使用置信区间，确保向最优值函数的单调推进。
• 理论分析结合经典值迭代收敛性论证与现代方差缩减工具，推导出高概率下的改进运行时间界限。

实验结果

研究问题

• RQ1 方差缩减技术能否有效应用于值迭代，以实现DMDPs的更快收敛和改进的运行时间复杂度？
• RQ2 在具有高概率保证的前提下，求解大规模DMDPs时，计算成本与精度之间的最优权衡是什么？
• RQ3 当转移采样可在O(1)时间内完成时，能否为DMDPs设计次线性时间算法？其运行时间对ε、γ和M的依赖关系如何？
• RQ4 如何将方差缩减值迭代扩展至有限horizon MDPs，同时保持快速收敛和低计算成本？
• RQ5 所提方法能否推广至具有额外结构假设（如有界直径或遍历性）的场景？

主要发现

• 该论文在概率1−δ下计算ε-最优策略的运行时间为Õ((|S|²|A| + |S||A|/(1−γ)³) log(M/ε) log(1/δ))，标志着针对中间γ值的首个近乎线性时间、近乎线性收敛的算法。
• 在O(1)转移采样条件下，当ε ∈ (0, M/√(1−γ))时，算法运行时间为Õ(|S||A|M²/((1−γ)⁴ε²) log(1/δ))，对状态和动作空间实现次线性运行时间依赖。
• 对于有限horizon MDPs，算法的运行时间为Õ(|S|⁵/³|A|H⁵/³M²/³/ε²/³ log(|S||A|H/δ))，在多个参数范围内优于先前方法。
• 所提出的方差缩减值迭代通过控制随机更新中的方差，确保向最优值函数的单调推进。
• 该方法通过结合经典值迭代与现代采样和方差缩减技术，为求解DMDPs建立了新的复杂度基准。
• 分析表明，首次利用采样实现了线性收敛的线性规划算法，暗示其在MDPs之外的更广泛应用潜力。