[论文解读] Rate of Convergence and Error Bounds for LSTD($λ$)

Manel Tagorti, Bruno Scherrer|arXiv (Cornell University)|May 13, 2014

Markov Chains and Monte Carlo Methods参考文献 11被引用 3

一句话总结

该论文在β-混合假设下，为带有优势迹的最小二乘时序差分算法LSTD(λ)建立了高概率误差界和收敛速率。证明了对于任意λ ∈ (0,1)，收敛速率为Õ(1/√n)，扩展并改进了λ = 0时的先前结果，并基于线性函数逼近的质量和样本量，为λ的最优选择提供了洞见。

ABSTRACT

We consider LSTD($λ$), the least-squares temporal-difference algorithm with eligibility traces algorithm proposed by Boyan (2002). It computes a linear approximation of the value function of a fixed policy in a large Markov Decision Process. Under a $β$-mixing assumption, we derive, for any value of $λ\in (0,1)$, a high-probability estimate of the rate of convergence of this algorithm to its limit. We deduce a high-probability bound on the error of this algorithm, that extends (and slightly improves) that derived by Lazaric et al. (2012) in the specific case where $λ=0$. In particular, our analysis sheds some light on the choice of $λ$ with respect to the quality of the chosen linear space and the number of samples, that complies with simulations.

研究动机与目标

• 为LSTD(λ)在λ > 0时的有限样本误差界提供填补，尽管其渐近收敛性已知。
• 将Lazaric等人（2012年）针对λ = 0时推导的高概率误差界扩展至一般λ ∈ (0,1)。
• 为λ的选择提供理论依据，基于逼近质量和样本效率。
• 在β-混合条件下分析LSTD(λ)向其极限的收敛速率。
• 通过λ的选择，为近似误差与样本复杂度之间的平衡提供实际指导。

提出的方法

• 在β-混合假设下，使用集中不等式推导LSTD(λ)估计误差的高概率界。
• 应用类似鞅的论证和伯恩斯坦型不等式，控制经验平均值与其期望之间的偏差。
• 利用优势迹的结构，将LSTD(λ)的更新表示为贝尔曼算子应用的加权和。
• 通过界定经验估计与真实解之间的偏差，建立Õ(1/√n)的收敛速率。
• 引入一种耦合论证，涉及混合时间m = ⌈log(n−1)/log(1/(λγ))⌉，以解耦轨迹中的依赖性。
• 采用链式论证和指数矩界，控制经验误差向量的范数。

实验结果

研究问题

• RQ1 在β-混合条件下，LSTD(λ)在λ ∈ (0,1)时的有限样本收敛速率是什么？
• RQ2 LSTD(λ)的误差界如何依赖于λ的选择、线性函数逼近的质量以及样本数量？
• RQ3 能否将λ = 0时的高概率误差界扩展至λ > 0？若能，其比较结果如何？
• RQ4 近似误差与估计误差之间由λ控制的最优权衡是什么？
• RQ5 马尔可夫链的混合时间如何影响LSTD(λ)的收敛速率？

主要发现

• 在β-混合假设下，对于任意λ ∈ (0,1)，LSTD(λ)以Õ(1/√n)的速率收敛至其极限。
• LSTD(λ)的高概率误差界形式为Õ(1/√n)，扩展并略微改进了λ = 0时的界。
• λ的选择影响近似误差（通过投影类型）与估计误差（通过方差控制）之间的权衡。
• 分析表明，增加λ通过从斜交投影转向正交投影，可改善逼近质量，从而降低近似误差。
• 该界依赖于混合系数β和特征空间维度d，显式依赖于log(1/δ)和混合时间。
• 最优λ平衡了随λ增加而减小的近似误差与随λ增加而增大的估计误差，且该界量化了这一权衡。