[论文解读] Reinforcement Learning From State and Temporal Differences

Lex Weaver, Jonathan Baxter|ArXiv.org|Dec 9, 2025

Reinforcement Learning in Robotics参考文献 23被引用 7

一句话总结

本文提出 STD(λ)，这是对 TD(λ) 的一种修改，基于相对状态值进行训练，以改善策略排序，具有理论保证，并在简单的两/三状态问题、backgammon 和类似 acrobot 的任务上给出经验验证。

ABSTRACT

TD($λ$) with function approximation has proved empirically successful for some complex reinforcement learning problems. For linear approximation, TD($λ$) has been shown to minimise the squared error between the approximate value of each state and the true value. However, as far as policy is concerned, it is error in the relative ordering of states that is critical, rather than error in the state values. We illustrate this point, both in simple two-state and three-state systems in which TD($λ$)--starting from an optimal policy--converges to a sub-optimal policy, and also in backgammon. We then present a modified form of TD($λ$), called STD($λ$), in which function approximators are trained with respect to relative state values on binary decision problems. A theoretical analysis, including a proof of monotonic policy improvement for STD($λ$) in the context of the two-state system, is presented, along with a comparison with Bertsekas' differential training method [1]. This is followed by successful demonstrations of STD($λ$) on the two-state system and a variation on the well known acrobot problem.

研究动机与目标

• 激发/说明在函数逼近下，策略质量更多地取决于状态值的排序，而非绝对值的准确性。
• 提出 STD(λ)，一种基于相对状态值的决策问题训练目标。
• 给出理论分析，在两状态設定下证明 STD(λ) 的单调策略改进。
• 在两状态、三状态系统、backgammon 和类似 acrobot 的问题上进行实证演 demonstrate。

提出的方法

• 将 STD(λ) 作为 TD(λ) 的一种变体引入，它在二元决策问题上以相对状态值为目标来训练函数逼近器。
• 给出理论分析，包括对两状态情形的单调策略改进证明。
• 将 STD(λ) 与 Bertsekas 的微分训练方法进行比较。
• 给出 STD(λ) 在两状态系统、三状态系统、类似 backgammon 的情景以及一个 acrobot 变体上的经验演示。

实验结果

研究问题

• RQ1 基于相对状态值的训练是否能导致基于 TD 的方法实现单调的策略改进？
• RQ2 在简单状态机和经典强化学习基准上，STD(λ) 与标准 TD(λ) 的比较？
• RQ3 在问题中状态排序（而非绝对值）驱动性能时，STD(λ) 是否能带来更好的策略质量？
• RQ4 STD(λ) 与 Bertsekas 的微分训练的关系及相对表现如何？
• RQ5 在像 acrobot 变体和小型决策问题这样的标准控制任务中，是否观察到经验上的提升？

主要发现

• STD(λ) 基于相对状态值进行训练，解决了相对于绝对值误差的策略排序问题。
• 在两状态系统中，基于所给分析，STD(λ) 实现了单调的策略改进。
• STD(λ) 相较于 TD(λ) 表现更有利，在理论上也与微分训练思路相吻合。
• 实证演示表明 STD(λ) 有益于两状态系统、三状态系统、类似 backgammon 的情景以及一个 acrobot 变体。