[论文解读] On Convergence of Emphatic Temporal-Difference Learning

Huizhen Yu|arXiv (Cornell University)|Jun 8, 2015

Reinforcement Learning in Robotics参考文献 25被引用 15

一句话总结

本文首次为离线策略强化学习中使用线性函数近似的两种强调时序差分学习算法 ETD(λ) 和 ELSTD(λ) 提供了收敛性证明。在一般离线策略条件下，通过新颖的分析技术，本文建立了 ELSTD(λ) 的 L¹ 收敛性，并证明了在单条无限轨迹下价值函数估计的几乎必然收敛性，这些技术可推广至强调方法之外。

ABSTRACT

We consider emphatic temporal-difference learning algorithms for policy evaluation in discounted Markov decision processes with finite spaces. Such algorithms were recently proposed by Sutton, Mahmood, and White (2015) as an improved solution to the problem of divergence of off-policy temporal-difference learning with linear function approximation. We present in this paper the first convergence proofs for two emphatic algorithms, ETD($λ$) and ELSTD($λ$). We prove, under general off-policy conditions, the convergence in $L^1$ for ELSTD($λ$) iterates, and the almost sure convergence of the approximate value functions calculated by both algorithms using a single infinitely long trajectory. Our analysis involves new techniques with applications beyond emphatic algorithms leading, for example, to the first proof that standard TD($λ$) also converges under off-policy training for $λ$ sufficiently large.

研究动机与目标

• 为离线策略设置下的强调时序差分学习算法建立理论收敛保证。
• 解决离线策略 TD 学习在使用线性函数近似时已知的发散问题。
• 在一般离线策略数据生成条件下，对 ETD(λ) 和 ELSTD(λ) 进行严格的数学分析。
• 开发适用于更广泛时序差分方法类别的新型分析技术。
• 证明当 λ 足够大时，标准 TD(λ) 在离线策略训练下也收敛。

提出的方法

• 提出 ETD(λ) 和 ELSTD(λ) 作为使用重要性采样和资格迹的离线策略时序差分算法。
• 应用随机逼近理论分析算法的收敛性。
• 引入一种新颖的分析框架，结合加权平均和经验过程技术，以处理离线策略数据。
• 利用单条无限轨迹推导价值函数估计的几乎必然收敛性。
• 更正并完善了文献中先前的证明，特别是关于附录 A.4 中命题 C.1 和脚注 17 的收敛性问题。
• 在一般离线策略条件下建立收敛性，包括非独立同分布和非均匀分布的数据。

实验结果

研究问题

• RQ1 在使用单条无限轨迹时，ETD(λ) 在一般离线策略条件下是否收敛？
• RQ2 ELSTD(λ) 在使用线性函数近似的离线策略训练下是否在 L¹ 意义下收敛？
• RQ3 强调 TD 学习的理论分析能否扩展至证明标准 TD(λ) 在离线策略设置下的收敛性？
• RQ4 处理 TD 学习中非独立同分布且有偏的离线策略数据，需要哪些新型分析技术？
• RQ5 对早期证明的更正如何影响收敛结果的有效性和普适性？

主要发现

• 在一般离线策略条件下，ELSTD(λ) 实现 L¹ 收敛，确立了其在价值函数估计中的理论可靠性。
• ETD(λ) 和 ELSTD(λ) 计算出的近似价值函数沿单条无限轨迹收敛几乎必然。
• 该分析首次证明了当 λ 足够大时，标准 TD(λ) 在离线策略训练下也收敛。
• 本文更正并强化了早期证明，特别是关于命题 C.1 对命题 C.2 第一部分依赖关系的分析。
• 所开发的分析技术具有可扩展性，不仅适用于强调算法，还可推广至标准 TD(λ) 和其他离线策略 TD 方法。
• 收敛结果在行为策略和底层 MDP 的假设上要求最小，增强了实际适用性。