[论文解读] Off-policy Learning with Eligibility Traces: A Survey

Matthieu Geist, Bruno Scherrer|arXiv (Cornell University)|Apr 15, 2013

Reinforcement Learning in Robotics参考文献 1被引用 39

一句话总结

本文提出了一套统一框架，将基于时序差分的值函数估计算法扩展至使用优势迹的离策略学习，系统性地推导出已知及新型算法。结果表明，在小型和大型Garnet问题中，离策略LSTD(λ)和LSPE(λ)在收敛速度和精度方面始终优于其他方法，而当特征维度过大时，TD(λ)则作为性能强劲的替代方案。

ABSTRACT

In the framework of Markov Decision Processes, off-policy learning, that is the problem of learning a linear approximation of the value function of some fixed policy from one trajectory possibly generated by some other policy. We briefly review on-policy learning algorithms of the literature (gradient-based and least-squares-based), adopting a unified algorithmic view. Then, we highlight a systematic approach for adapting them to off-policy learning with eligibility traces. This leads to some known algorithms - off-policy LSTD(λ), LSPE(λ), TD(λ), TDC/GQ(λ) - and suggests new extensions - off-policy FPKF(λ), BRM(λ), gBRM(λ), GTD2(λ). We describe a comprehensive algorithmic derivation of all algorithms in a recursive and memory-efficent form, discuss their known convergence properties and illustrate their relative empirical behavior on Garnet problems. Our experiments suggest that the most standard algorithms on and off-policy LSTD(λ)/LSPE(λ) - and TD(λ) if the feature space dimension is too large for a least-squares approach - perform the best.

研究动机与目标

• 提出一种系统化、统一的方法，将基于时序差分的值函数估计算法适配至使用优势迹的离策略学习。
• 基于最小二乘法和基于梯度的方法，推导出现有及新型离策略算法的递归、内存高效实现。
• 在Garnet问题上对这些算法的性能进行实证比较，识别在不同条件下最有效的算法。
• 指出现有收敛性分析中的理论空白，特别是针对基于随机梯度的算法，并为未来研究提出方向。

提出的方法

• 通过修改贝尔曼算子以引入优势迹和重要性采样，将基于时序差分的算法（LSTD、LSPE、FPKF、BRM、TD、gBRM、TDC）扩展至离策略学习。
• 为所有算法推导出递归更新规则，以支持在线、内存高效的训练，确保可扩展性。
• 采用统一的算法模式（公式8）以统一涵盖最小二乘法和基于梯度的方法的推导。
• 在离策略设置中应用重要性采样，以校正行为策略与目标策略之间的分布偏移。
• 使用优势迹（λ）以平衡偏差与方差，提升样本效率。
• 在状态空间和特征空间大小各异的Garnet问题上进行实证评估，比较收敛速度与误差。

实验结果

研究问题

• RQ1 如何系统性地将基于时序差分的值函数估计算法扩展至使用优势迹的离策略学习？
• RQ2 哪些基于优势迹的离策略算法在收敛速度和估计精度方面表现出最佳的实证性能？
• RQ3 在使用优势迹的离策略设置中，基于最小二乘法与基于梯度的算法之间的相对权衡为何？
• RQ4 在何种条件下，FPKF(λ)和gBRM(λ)相较于LSTD(λ)和LSPE(λ)表现更优或更差？
• RQ5 在分析基于优势迹的离策略随机梯度算法的收敛性方面，仍存在哪些理论挑战？

主要发现

• 离策略LSTD(λ)和LSPE(λ)在小型和大型Garnet问题中均表现出最快的收敛速度和最低的误差。
• 当特征数量过大而不适合使用最小二乘法时，TD(λ)作为可扩展的替代方案表现良好。
• FPKF(λ)的扩展版本在收敛速度和精度方面优于原始FPKF，尤其在离策略设置中表现更优。
• 尽管专为离策略学习设计，TDC/GTD2(λ)和GTD2(λ)的收敛速度远慢于TD(λ)。
• 当λ=0时，gBRM(λ)表现欠佳，这证实了原始gBRM算法已知的偏差问题。
• 对于Π₀T^λ的压缩条件在Garnet问题中实际并不具限制性，因为尽管存在已知的病态情况，实验中未观察到发散现象。