[论文解读] On TD(0) with function approximation: Concentration bounds and a centered variant with exponential convergence

Nathaniel Korda, L. A. Prashanth|arXiv (Cornell University)|Nov 12, 2014

Reinforcement Learning in Robotics参考文献 8被引用 5

一句话总结

本文为带有线性函数近似的TD(0)提供了非渐近的浓度界，表明在缺乏对马尔可夫链平稳分布知识的情况下，标准步长无法保证最优收敛。本文提出了一种中心化TD(0)变体，实现了期望意义下的指数收敛，并证明了迭代平均可在无需该知识的前提下实现最优的O(1/√n)收敛速率，该方法在合成环境中得到验证。

ABSTRACT

We provide non-asymptotic bounds for the well-known temporal difference learning algorithm TD(0) with linear function approximators. These include high-probability bounds as well as bounds in expectation. Our analysis suggests that a step-size inversely proportional to the number of iterations cannot guarantee optimal rate of convergence unless we assume (partial) knowledge of the stationary distribution for the Markov chain underlying the policy considered. We also provide bounds for the iterate averaged TD(0) variant, which gets rid of the step-size dependency while exhibiting the optimal rate of convergence. Furthermore, we propose a variant of TD(0) with linear approximators that incorporates a centering sequence, and establish that it exhibits an exponential rate of convergence in expectation. We demonstrate the usefulness of our bounds on two synthetic experimental settings.

研究动机与目标

• 通过提供非渐近界，填补带有线性函数近似的TD(0)在有限时间分析中的空白。
• 识别标准步长选择（如∝1/n）在缺乏对马尔可夫链平稳分布知识的情况下无法实现最优收敛速率的局限性。
• 提出一种新颖的中心化TD(0)变体，实现在期望意义下的指数收敛。
• 通过合成实验中的步长选择，展示理论边界的实用价值。

提出的方法

• 基于底层马尔可夫链的混合性假设，推导了∥θn − θ∗∥²的高概率界与期望界。
• 引入TD(0)的中心化变体，通过引入中心化序列以降低方差并加速收敛。
• 通过分析各周期内的误差动态，建立了中心化变体在期望意义下的指数收敛性。
• 利用迭代平均消除对平稳分布知识的依赖，同时实现最优的O(1/√n)收敛速率。
• 在周期上采用分块平均技术以控制误差项，并推导出期望误差的递归界。
• 通过假设特征向量范数和混合率（通过混合系数µ）来界定方差与偏差分量。

实验结果

研究问题

• RQ1 能否为带有线性函数近似的TD(0)建立非渐近界，以量化其有限时间收敛速率？
• RQ2 为何标准步长选择∝1/n在缺乏对平稳分布知识的情况下无法实现最优的O(1/√n)收敛速率？
• RQ3 TD(0)的中心化变体能否实现在期望意义下的指数收敛？其内在机制是什么？
• RQ4 迭代平均如何在不依赖平稳分布知识的前提下保持最优收敛速率？
• RQ5 理论边界能否在合成环境中实际用于指导步长选择？

主要发现

• 在缺乏对平稳分布混合特性知识的情况下，标准TD(0)算法使用步长∝1/n无法实现最优的O(1/√n)收敛速率。
• TD(0)的迭代平均在期望意义下实现了最优的O(1/√n)收敛速率，且无需依赖对平稳分布的知识。
• 所提出的中心化TD(0)变体在期望意义下实现了指数收敛，其收敛速度显著优于标准TD(0)。
• 理论边界成功用于指导合成实验中的步长与周期长度选择，CTD的方差低于标准TD(0)和TD(0)-平均版本。
• 通过混合性假设和对特征向量范数的有界性，控制了分析中的误差项，从而实现了对期望误差增长的紧密控制。
• 实验结果证实，中心化变体（CTD）在高维设置下收敛更快且方差更低，显著优于标准TD(0)和平均化TD(0)。