[论文解读] Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines

Philip S. Thomas, Emma Brunskill|arXiv (Cornell University)|Jun 20, 2017

Reinforcement Learning in Robotics参考文献 2被引用 43

一句话总结

本文将策略梯度定理扩展至允许在函数逼近的强化学习中使用动作相关基线（action-dependent baselines），表明当兼容的函数逼近器估计状态-动作值与基线之间的残差时，可避免偏差。关键贡献在于提出了一种修改后的损失函数，使得使用动作相关基线时能够实现无偏的策略梯度估计，从而在策略优化中实现更有效的方差减少。

ABSTRACT

We show how an action-dependent baseline can be used by the policy gradient theorem using function approximation, originally presented with action-independent baselines by (Sutton et al. 2000).

研究动机与目标

• 解决在函数逼近的策略梯度方法中使用动作相关基线所引入的偏差问题。
• 通过允许基线依赖于状态和动作，实现更有效的方差减少，以提升策略学习效果。
• 提出一种理论严谨的方法，使用动作相关基线而不损害策略梯度估计的无偏性。
• 通过重新定义函数逼近目标，将策略梯度定理推广以适应动作相关基线。

提出的方法

• 提出一种修改后的损失函数 ˜L(w)，其最小化兼容函数逼近器 fw(s,a) 与残差 (qθ(s,a) − b(s,a)) 之间的平方误差，而非直接最小化 qθ(s,a)。
• 定义 ew⋆ 为最小化 ˜L(w) 的最优权重向量，确保逼近器在减去基线后能学习到残差。
• 推导出一种新的策略梯度定理，使用 ew⋆ 代替 w⋆，证明当基线 b(s,a) 为动作相关时，梯度仍保持无偏。
• 证明策略梯度可表示为状态-动作对上 (f̃w⋆(s,a) + b(s,a)) 与策略梯度乘积的期望。
• 提出一种框架，其中 b(s,a) 可从专家知识或数据中估计，并与 fw(s,a) 联合构成函数逼近器 ˆqw,x(s,a) = fw(s,a) + bx(s,a)。
• 建立理论条件，证明在不引入偏差的前提下可使用动作相关基线进行策略梯度估计。

实验结果

研究问题

• RQ1 在函数逼近的策略梯度方法中，是否可以无偏差地使用动作相关基线？
• RQ2 为保持使用动作相关基线时策略梯度估计的无偏性，函数逼近目标需要进行何种修改？
• RQ3 如何重新定义兼容函数逼近器，使其估计状态-动作值与基线之间的残差，而非直接估计状态-动作值？
• RQ4 当基线依赖于状态和动作时，策略梯度的理论形式是什么？
• RQ5 是否可以在保留策略梯度无偏性的同时，从数据或专家知识中学习基线？

主要发现

• 只要兼容函数逼近器估计的是残差 (qθ(s,a) − b(s,a)) 而非 qθ(s,a)，策略梯度定理即可扩展至包含动作相关基线且不引入偏差。
• 最小化修改后损失 ˜L(w) 的最优权重向量 ew⋆ 确保即使在使用动作相关基线时，策略梯度仍保持无偏。
• 策略梯度可表示为 (f̃w⋆(s,a) + b(s,a)) 与策略梯度乘积的期望，保持了原始梯度形式。
• 该方法通过自适应于动作的基线实现更有效的方差减少，从而提升策略学习的样本效率。
• 该框架支持将 bx(s,a) 与 fw(s,a) 联合学习，实现对联合函数逼近器 ˆqw,x(s,a) 的端到端训练。
• 理论基础为在深度强化学习中结合函数逼近使用动作相关基线的新算法设计提供了支持。