[论文解读] Q($λ$) with Off-Policy Corrections

Anna Harutyunyan, Marc G. Bellemare+2 more|arXiv (Cornell University)|Feb 16, 2016

Cryptography and Data Security被引用 23

一句话总结

本文提出了一种新颖的异策略时序差分学习方法，即带有异策略修正的Q(λ)，该方法使用当前Q函数近似值来校正回报，而非依赖重要性采样或策略概率。在资格迹λ、折扣因子γ与策略差异ε之间的权衡条件下证明了收敛性，从而实现了无需引入方差增大加权方案的稳定异策略学习。

ABSTRACT

We propose and analyze an alternate approach to off-policy multi-step temporal difference learning, in which off-policy returns are corrected with the current Q-function in terms of rewards, rather than with the target policy in terms of transition probabilities. We prove that such approximate corrections are sufficient for off-policy convergence both in policy evaluation and control, provided certain conditions. These conditions relate the distance between the target and behavior policies, the eligibility trace parameter and the discount factor, and formalize an underlying tradeoff in off-policy TD($λ$). We illustrate this theoretical relationship empirically on a continuous-state control task.

研究动机与目标

• 解决传统异策略TD(λ)方法中依赖重要性采样或策略概率加权所导致的不稳定性与高方差问题。
• 开发一种仅依赖当前Q函数近似值来校正回报的异策略学习方法，避免对行为策略概率的依赖。
• 建立异策略Q(λ)收敛至正确Qπ函数的理论条件，形式化λ、ε（策略差异）与γ之间的权衡关系。
• 通过实证结果表明，所提方法在连续状态控制任务中即使行为策略与目标策略显著偏离，仍能保持稳定与收敛。
• 为一种未截断资格迹的朴素Q(λ)变体提供理论与实证基础，挑战了此类方法不稳定的假设。

提出的方法

• 提出一种新的异策略回报算子，通过当前Q函数近似值校正即时奖励，而非调整转移概率中的策略不匹配。
• 定义三种算法：异策略Qπ(λ)、同策略Qπ(λ)与Q*(λ)，均基于此校正回报算子。
• 使用贝尔曼算子框架形式化更新规则，其关键创新在于在回报计算中引入基于Q的校正项。
• 在条件λ ≤ (1−γ)/(γε)下证明Qπ(λ)的收敛性，其中ε = max_x ||π(⋅|x)−μ(⋅|x)||₁用于度量策略差异。
• 在控制任务中，分析Q*(λ)作为沃特金斯Q(λ)的一种变体，其在非贪婪动作处不截断资格迹，并证明其在小λ值下收敛。
• 在Bicycle领域实证验证理论权衡关系，结果表明当λ超过预测阈值时性能下降。

实验结果

研究问题

• RQ1 是否可以在不使用基于策略概率的重要性采样权重的情况下，实现TD(λ)的异策略收敛？
• RQ2 对于异策略收敛，资格迹参数λ、折扣因子γ与行为策略和目标策略之间差异ε之间的理论权衡关系是什么？
• RQ3 一种朴素的Q(λ)变体（即在非贪婪动作处不截断资格迹）是否在某些条件下仍能收敛？
• RQ4 基于Q函数的即时奖励校正能否替代异策略TD(λ)中的策略概率加权，同时保持收敛性？
• RQ5 即使理论边界未完全确立，异策略控制任务中λ、ε与性能之间是否存在经验关系？

主要发现

• 所提出的Qπ(λ)算法在λ ≤ (1−γ)/(γε)条件下收敛至Qπ，形式化了自举（λ）、折扣（γ）与策略差异（ε）之间的权衡关系。
• 该方法避免了重要性采样，从而消除了由似然比乘积引入的方差，相较于现有异策略TD(λ)方法具有显著优势。
• 在Bicycle控制领域中的实证结果表明，当λ超过理论阈值时性能下降，支持了λ-ε权衡关系的存在。
• Q*(λ)作为沃特金斯Q(λ)的一种朴素变体，其在非贪婪动作处不截断资格迹，在小λ值下被证明收敛，挑战了此类方法不稳定的假设。
• 理论分析表明，Qπ(λ)是同策略与异策略TD(λ)的推广，可自适应处理不同程度的异策略性而无需算法变更。
• 该方法为Tree-Backup(λ)提供了一种稳定替代方案，后者在策略接近时会不必要地截断资格迹，而本方法在ε较小时允许完整备份，且当λ适当有界时表现更优。