[论文解读] Should one compute the Temporal Difference fix point or minimize the Bellman Residual? The unified oblique projection view

Bruno Scherrer|arXiv (Cornell University)|Nov 19, 2010

Reinforcement Learning in Robotics参考文献 14被引用 44

一句话总结

本文提出了一种统一的斜投影框架，用于表征马尔可夫决策过程线性值函数逼近中时序差分（TD）固定点计算与贝尔曼残差（BR）最小化。结果表明，BR最小化提供了性能保证且数值更稳定，而TD(0)虽通常能得到更优解但存在不稳定性，因此尽管方差较高，BR在整体上表现更优。

ABSTRACT

We investigate projection methods, for evaluating a linear approximation of the value function of a policy in a Markov Decision Process context. We consider two popular approaches, the one-step Temporal Difference fix-point computation (TD(0)) and the Bellman Residual (BR) minimization. We describe examples, where each method outperforms the other. We highlight a simple relation between the objective function they minimize, and show that while BR enjoys a performance guarantee, TD(0) does not in general. We then propose a unified view in terms of oblique projections of the Bellman equation, which substantially simplifies and extends the characterization of (schoknecht,2002) and the recent analysis of (Yu & Bertsekas, 2008). Eventually, we describe some simulations that suggest that if the TD(0) solution is usually slightly better than the BR solution, its inherent numerical instability makes it very bad in some cases, and thus worse on average.

研究动机与目标

• 比较时序差分（TD）(0)固定点计算与贝尔曼残差（BR）最小化在线性值函数逼近中的性能与稳定性。
• 通过贝尔曼方程的斜投影，为两种方法提供统一的几何解释。
• 分析每种方法的理论保证与数值行为，特别是关于误差界与稳定性的方面。
• 通过模拟评估其相对性能与鲁棒性，指导实际中TD(0)与BR的选择。
• 在Schoknecht（2002）与Yu & Bertsekas（2008）工作的基础上，对两种方法进行简化且更具普遍性的表征。

提出的方法

• 将TD(0)与BR形式化为在状态分布$\xi$诱导的加权范数下，对真实值函数$v$在特征子空间$\text{span}(\Phi)$上的斜投影。
• 推导出统一表征，表明两种方法均求解投影固定点方程，其解对应于在不同投影方向下对$v$的斜投影。
• 引入一个关键关系：最小化贝尔曼残差等价于最小化TD误差加上一个额外的“充分性”项，该参数影响数值稳定性。
• 建立紧致的误差界（命题3），该界独立于奖励函数，适用于两种方法，从而实现理论比较。
• 在最多30个状态的随机链式MDP上进行模拟，比较TD(0)与BR在不同特征空间维度下的平均性能、相对误差与数值稳定性。
• 分析两种方法在采样估计下的方差与收敛行为，特别强调BR因双重采样导致的更高计算成本。

实验结果

研究问题

• RQ1 在何种条件下BR在线性值函数逼近中优于TD(0)，反之亦然？
• RQ2 TD(0)与BR所最小化的目标函数之间存在何种理论关系，这如何影响其数值稳定性？
• RQ3 能否将TD(0)与BR均表征为贝尔曼方程的斜投影？若可，这种表征如何统一二者分析？
• RQ4 BR最小化是否提供了TD(0)所缺乏的性能保证，这如何影响实际中两者的选取？
• RQ5 所提出的统一斜投影框架是否能预先改善近似方法的选择，或指导新算法的设计？

主要发现

• BR最小化提供了基于误差界的性能保证，而TD(0)通常不具备此类界。
• TD(0)解在平均情况下通常比BR解更精确，但表现出显著的数值不稳定性，导致偶尔出现灾难性失败。
• 模拟结果表明，尽管TD(0)的平均相对误差（$e_{TD}/e$）较低，但其性能方差较高，而BR的误差（$e_{BR}/e$）更平滑且更一致。
• BR目标函数中的额外“充分性”项（用于限制TD误差）在稳定解方面起着关键作用，解释了BR的鲁棒性。
• 尽管BR因双重采样导致估计方差较高，但其整体平均性能优于TD(0)，原因在于其更优的数值稳定性。
• 所提出的斜投影框架简化并扩展了Schoknecht（2002）与Yu & Bertsekas（2008）的前期工作，为两种方法提供了几何统一，并得出了更紧致的误差界。