[论文解读] Why Should I Trust You, Bellman? The Bellman Error is a Poor Replacement for Value Error

Scott Fujimoto, David Meger+3 more|arXiv (Cornell University)|Jan 28, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文表明，在强化学习中，贝尔曼误差作为价值函数准确性的代理指标表现不佳，因为在误差抵消和有限数据设置下，即使价值误差很高，贝尔曼误差也可能很低。作者证明，最小化贝尔曼误差并不能提升价值准确性，尤其是在非策略设置下，因此建议应以价值误差作为主要优化目标，而非贝尔曼误差。

ABSTRACT

In this work, we study the use of the Bellman equation as a surrogate objective for value prediction accuracy. While the Bellman equation is uniquely solved by the true value function over all state-action pairs, we find that the Bellman error (the difference between both sides of the equation) is a poor proxy for the accuracy of the value function. In particular, we show that (1) due to cancellations from both sides of the Bellman equation, the magnitude of the Bellman error is only weakly related to the distance to the true value function, even when considering all state-action pairs, and (2) in the finite data regime, the Bellman equation can be satisfied exactly by infinitely many suboptimal solutions. This means that the Bellman error can be minimized without improving the accuracy of the value function. We demonstrate these phenomena through a series of propositions, illustrative toy examples, and empirical analysis in standard benchmark domains.

研究动机与目标

• 研究贝尔曼误差与强化学习中价值函数准确性之间的关系。
• 识别为何最小化贝尔曼误差在实践中无法提升价值函数准确性，尤其是非策略设置下。
• 证明由于误差抵消效应，贝尔曼误差可能很低，而价值误差却很高。
• 展示在有限数据设置下，无穷多个次优价值函数可以精确满足贝尔曼方程。
• 主张在价值函数学习中，应以价值误差为主要优化目标，而非贝尔曼误差。

提出的方法

• 在无限和有限数据设置下，对贝尔曼误差与价值误差关系进行理论分析。
• 提出命题与引理，形式化说明误差抵消如何在价值误差较高的情况下降低贝尔曼误差的幅度。
• 构建小型环境，说明有偏的价值函数可能比无偏的价值函数具有更低的贝尔曼误差。
• 在标准强化学习基准上，对贝尔曼残差最小化（BRM）与拟合Q-评估（FQE）进行实证比较。
• 在同策略和非同策略数据集上进行评估，以衡量贝尔曼误差与价值误差之间的相关性。
• 使用标准强化学习算法与标准超参数，测试在实际设置中发现结果的泛化能力。

实验结果

研究问题

• RQ1 为何在实践中最小化贝尔曼误差无法提升价值函数准确性？
• RQ2 价值估计在贝尔曼方程两侧的误差抵消如何影响贝尔曼误差的大小？
• RQ3 在有限数据设置下，贝尔曼方程能否被无穷多个次优价值函数精确满足？
• RQ4 为何贝尔曼残差最小化（BRM）产生的贝尔曼误差低于拟合Q-评估（FQE），但价值误差更高？
• RQ5 贝尔曼误差在不同强化学习环境和数据设置下，与实际价值函数准确性的相关程度如何？

主要发现

• 由于贝尔曼方程两侧有偏估计之间的误差抵消，贝尔曼误差的大小与价值误差相关性较弱。
• 有偏的价值函数可能比无偏的价值函数具有更低的贝尔曼误差，即使其绝对价值误差更高。
• 在有限数据设置下，贝尔曼方程可被无穷多个次优价值函数精确满足，因此贝尔曼误差最小化作为优化目标是低效的。
• 实证结果表明，BRM（直接最小化贝尔曼误差）虽显著降低贝尔曼误差，但其价值误差远高于FQE，即使在同策略数据上也是如此。
• 在非同策略设置下，BRM与FQE之间的性能差距进一步扩大，此时BRM生成的价值函数虽接近零贝尔曼误差，但价值误差极大。
• 研究结果表明，贝尔曼误差并非价值函数学习中模型选择或目标函数的可靠指标，尤其在非同策略强化学习中。