[论文解读] The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning

Michael Fairbank, Eduardo Alonso|arXiv (Cornell University)|Jan 2, 2011

Reinforcement Learning in Robotics参考文献 19被引用 10

一句话总结

该论文提出价值梯度学习（VGL）作为一种方法，通过在连续状态空间中直接学习轨迹上价值函数的梯度，以实现强化学习中的局部最优。它证明了沿单条轨迹更新价值梯度可确保局部极值性，并且通常实现局部最优；并建立了在对价值函数使用贪婪策略时，VGL与策略梯度学习之间出人意料的等价性，从而实现了使用通用函数逼近器的收敛性。

ABSTRACT

In this theoretical paper we are concerned with the problem of learning a value function by a smooth general function approximator, to solve a deterministic episodic control problem in a large continuous state space. It is shown that learning the gradient of the value-function at every point along a trajectory generated by a greedy policy is a sufficient condition for the trajectory to be locally extremal, and often locally optimal, and we argue that this brings greater efficiency to value-function learning. This contrasts to traditional value-function learning in which the value-function must be learnt over the whole of state space. It is also proven that policy-gradient learning applied to a greedy policy on a value-function produces a weight update equivalent to a value-gradient weight update, which provides a surprising connection between these two alternative paradigms of reinforcement learning, and a convergence proof for control problems with a value function represented by a general smooth function approximator.

研究动机与目标

• 解决在传统价值函数学习效率低下的大规模连续状态空间中学习最优策略的挑战。
• 证明仅沿单条轨迹学习价值梯度即可实现局部最优，避免对全状态空间的更新。
• 在贪婪策略下，建立价值梯度学习与策略梯度方法之间的理论联系，证明二者等价。
• 为在确定性环境中使用通用光滑函数逼近器的控制问题提供收敛性证明。

提出的方法

• 提出价值梯度学习（VGL）作为在轨迹上优化价值函数梯度的方法，使用光滑函数逼近器表示价值函数。
• 基于价值函数对网络权重的梯度，推导出权重更新规则，并利用时序信用分配的资格迹（eligibility traces）进行时间上的信用传播。
• 引入一个递归的资格迹矩阵 $ E_t $，将价值梯度更新与通过动力学雅可比矩阵 $ \frac{Df}{D\vec{x}} $ 实现的时间信用分配相结合。
• 使用一个取值在 $[0,1]$ 之间的自举参数 $ \lambda $，以平衡即时与未来的时序信用，将TD(0)推广至价值梯度。
• 以在线、基于轨迹的方式应用VGL(λ)算法，在每一步之后使用局部梯度和资格迹更新权重。
• 证明当策略对价值函数采取贪婪策略时，VGL的权重更新在数学上等价于策略梯度更新，从而将两种主要的强化学习范式联系起来。

实验结果

研究问题

• RQ1 在确定性连续控制问题中，沿单条轨迹学习价值函数梯度是否足以实现局部最优行为？
• RQ2 在贪婪策略背景下，价值梯度学习与策略梯度学习之间存在何种理论关系？
• RQ3 在使用通用函数逼近器时，价值梯度学习是否在与策略梯度方法相同的条件下实现收敛？
• RQ4 如何将资格迹适配于价值梯度学习，以确保稳定且高效的信用分配？

主要发现

• 沿轨迹学习价值梯度是轨迹实现局部极值的充分条件，且通常为局部最优，即使无需全状态空间更新。
• 当策略对价值函数采取贪婪策略时，VGL(λ)的权重更新规则在数学上等价于策略梯度更新，建立了两种范式之间深刻的理论联系。
• 该方法可实现使用通用光滑函数逼近器的控制问题的收敛，即使在传统TD(λ)于类似条件下失效时亦可。
• 资格迹矩阵 $ E_t $ 通过利用动力学雅可比矩阵，有效实现了价值梯度信用在时间上的传播，使VGL具备时间信用分配能力。
• 该算法通过聚焦于局部梯度信息，避免了在确定性环境中对广泛探索或随机性的依赖。
• 该方法对非线性函数逼近器具有鲁棒性，并在所提出的框架下提供了收敛性保证，而标准TD(λ)在贪婪策略下则不具备这一特性。