[论文解读] Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods

Ching-An Cheng, Xinyan Yan+1 more|arXiv (Cornell University)|Aug 8, 2019

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出 TrajCV，一种新型轨迹级控制变量子，通过利用轨迹中状态与动作之间的时序相关性，在策略梯度方法中实现方差减少。通过递归地使用 Q 函数近似器构建控制变量子，TrajCV 在合理假设下实现最优方差减少，并显著提升样本效率，尤其在长时序任务中表现突出。

ABSTRACT

Policy gradient methods have demonstrated success in reinforcement learning tasks that have high-dimensional continuous state and action spaces. However, policy gradient methods are also notoriously sample inefficient. This can be attributed, at least in part, to the high variance in estimating the gradient of the task objective with Monte Carlo methods. Previous research has endeavored to contend with this problem by studying control variates (CVs) that can reduce the variance of estimates without introducing bias, including the early use of baselines, state dependent CVs, and the more recent state-action dependent CVs. In this work, we analyze the properties and drawbacks of previous CV techniques and, surprisingly, we find that these works have overlooked an important fact that Monte Carlo gradient estimates are generated by trajectories of states and actions. We show that ignoring the correlation across the trajectories can result in suboptimal variance reduction, and we propose a simple fix: a class of "trajectory-wise" CVs, that can further drive down the variance. We show that constructing trajectory-wise CVs can be done recursively and requires only learning state-action value functions like the previous CVs for policy gradient. We further prove that the proposed trajectory-wise CVs are optimal for variance reduction under reasonable assumptions.

研究动机与目标

• 解决策略梯度方法中蒙特卡洛梯度估计持续存在的高方差问题，特别是在长时序和高维连续控制任务中。
• 指出先前的控制变量子方法（仅与状态相关或与状态-动作相关）忽略了轨迹步骤间的时序相关性，导致方差减少效果不理想。
• 提出一类新型控制变量子——TrajCV，显式考虑轨迹级相关性，以进一步降低梯度方差，且不引入偏差。
• 理论上并实证证明，在合理假设下，TrajCV 是方差减少的最优解，并可使用标准 Q 函数近似器递归实现。
• 通过在长时序任务上的仿真验证 TrajCV 的有效性，结果表明其收敛速度显著优于现有控制变量子方法。

提出的方法

• 提出 TrajCV 作为控制变量子家族，通过增加捕捉长期轨迹相关性的项，扩展了现有的状态依赖和状态-动作依赖控制变量子。
• 使用 Q 函数近似器 $\widehat{q}^{\text{(dyn)}}(s,a) = c(s,a) + \widehat{v}(\widehat{d}(s,a))$ 递归构建 TrajCV，其中 $\widehat{d}$ 为学习到的动力学模型，$\widehat{v}$ 为价值函数近似器。
• 利用条件期望 $\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ 定义控制变量子，并采用解析近似方法（如线性近似和高斯-牛顿近似）以提升计算效率。
• 通过构造确保方法无偏，因为 TrajCV 是作为零均值校正项添加到策略梯度估计中。
• 证明在合理假设下（如确定性动力学），TrajCV 是所有可能轨迹级控制变量子中方差减少的最优解。
• 使用在线策略价值函数近似器和与现有控制变量子方法共享的函数近似器实现 TrajCV，无需额外数据或模型训练，从而实现公平比较。

实验结果

研究问题

• RQ1 为何现有的策略梯度方法中的控制变量子无法在长时序任务中完全减少方差？
• RQ2 轨迹步骤间的时序相关性在策略梯度方法中对方差的贡献程度如何？
• RQ3 一种显式建模轨迹级依赖关系的控制变量子，是否能比仅与状态相关或与状态-动作相关的控制变量子实现更好的方差减少？
• RQ4 是否存在一种理论上最优的轨迹级控制变量子构造方式，可在不引入偏差的前提下最小化梯度方差？
• RQ5 在长时序强化学习任务中，TrajCV 与先前控制变量子方法相比，在收敛速度和样本效率方面表现如何？

主要发现

• TrajCV 通过考虑长期轨迹相关性，显著降低了梯度方差，而此前的方法忽略了这一点。
• 所提出的 TrajCV 方法在合理假设下被证明是方差减少的最优解，尤其在转移动力学接近确定性时表现更优。
• 实证结果表明，TrajCV 加速了学习收敛，尤其在轨迹级方差占主导地位的长时序任务中效果显著。
• 对 $\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ 使用解析近似方法（如高斯-牛顿法）可提升计算效率，同时保持低方差。
• TrajCV 与先前控制变量子方法（仅与状态相关、与状态-动作相关）之间的性能差距随任务时序长度增加而扩大，证实了轨迹级建模的重要性。
• TrajCV 可使用现有 Q 函数近似器实现，无需新增数据或模型，可无缝集成到当前策略梯度框架中。