[论文解读] Multi-step Off-policy Learning Without Importance Sampling Ratios

Ashique Rupam Mahmood, Huizhen Yu+1 more|arXiv (Cornell University)|Feb 9, 2017

Machine Learning and Algorithms参考文献 19被引用 22

一句话总结

该论文提出了ABQ(ζ)，这是首个无需重要性采样比率的无模型离策略时序差分学习算法，通过使用动作相关的自举机制，在多步学习中消除了重要性采样比率。通过按动作调节自举过程并采用双时间尺度梯度更新，ABQ实现了稳定且低方差的值函数估计，在具有挑战性的离策略任务上优于当前最先进方法。

ABSTRACT

To estimate the value functions of policies from exploratory data, most model-free off-policy algorithms rely on importance sampling, where the use of importance sampling ratios often leads to estimates with severe variance. It is thus desirable to learn off-policy without using the ratios. However, such an algorithm does not exist for multi-step learning with function approximation. In this paper, we introduce the first such algorithm based on temporal-difference (TD) learning updates. We show that an explicit use of importance sampling ratios can be eliminated by varying the amount of bootstrapping in TD updates in an action-dependent manner. Our new algorithm achieves stability using a two-timescale gradient-based TD update. A prior algorithm based on lookup table representation called Tree Backup can also be retrieved using action-dependent bootstrapping, becoming a special case of our algorithm. In two challenging off-policy tasks, we demonstrate that our algorithm is stable, effectively avoids the large variance issue, and can perform substantially better than its state-of-the-art counterpart.

研究动机与目标

• 解决多步离策略时序差分学习中因重要性采样比率导致的高方差问题。
• 开发一种无需显式使用重要性采样比率的无模型函数逼近算法。
• 在系统化的动作相关自举框架下，统一并推广现有算法（如Tree Backup和Retrace）。
• 在不依赖策略比率校正的前提下，实现在离策略设置下的稳定、低方差值函数估计。
• 在离策略函数逼近中实现有效的多步学习，避免重要性采样带来的不稳定性和高方差。

提出的方法

• 引入动作相关的自举机制，使自举参数随状态-动作对变化，从而消除对重要性采样比率的需求。
• 提出基于双时间尺度梯度的TD更新，以确保稳定性，将值函数更新与优势迹更新分离。
• 通过使用优势迹并引入动作相关因子νζ,t = ζ·min(1, ρt)（其中ρt为重要性采样比率），推导出ABQ(ζ)算法。
• 重新表述优势迹更新，嵌入动作相关自举因子，实现在保持多步学习能力的同时降低方差。
• 证明当使用表格特征且不进行梯度校正时，ABQ(ζ)退化为Tree Backup；在特定参数设置下，可恢复为Retrace。
• 利用随机逼近理论，支持在递减或恒定学习率下的收敛性，确保理论上的稳定性。

实验结果

研究问题

• RQ1 是否可以在不显式使用重要性采样比率的前提下，实现带函数逼近的多步离策略学习？
• RQ2 如何使自举过程与动作相关，以在保持多步学习能力的同时降低方差？
• RQ3 能否推导出一种稳定且低方差的离策略算法，以统一并推广如Tree Backup和Retrace等现有方法？
• RQ4 双时间尺度梯度更新在无需重要性采样时对学习稳定性的作用是什么？
• RQ5 动作相关的自举机制是否能在高方差环境下实现优于当前最先进离策略算法的性能？

主要发现

• ABQ(ζ) 成功在带函数逼近的多步离策略学习中消除了重要性采样比率的使用，实现了稳定且低方差的估计。
• 该算法在两个具有挑战性的离策略任务上显著优于当前最先进方法，展现出更优的稳定性和性能。
• 当使用表格表示且移除梯度校正时，ABQ(ζ) 作为Tree Backup的一个特例被推广。
• 在特定参数设置下，Retrace可作为AB-Trace算法的特例被恢复，扩展了其在函数逼近中的适用性。
• 动作相关的自举机制有效缓解了重要性采样比率带来的方差，同时保留了多步学习的优势。
• 双时间尺度梯度更新确保了收敛与稳定性，使学习过程可靠，无需依赖重要性采样校正。