[论文解读] Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity

Abhishek Gupta, Aldo Pacchiano+3 more|arXiv (Cornell University)|Oct 18, 2022

Software Engineering Research被引用 12

一句话总结

本文提出 UCBVI-Shaped，一种将奖励塑形整合到基于乐观探索的强化学习算法，以提升样本效率。通过利用最优值函数的乘法近似（以 β 为界），该方法通过自适应奖励衰减与值投影实现更快收敛，在状态空间和时域依赖的复杂性项中均实现可证明的改进，同时保持渐近性能。

ABSTRACT

Reinforcement learning provides an automated framework for learning behaviors from high-level reward specifications, but in practice the choice of reward function can be crucial for good results -- while in principle the reward only needs to specify what the task is, in reality practitioners often need to design more detailed rewards that provide the agent with some hints about how the task should be completed. The idea of this type of ``reward-shaping'' has been often discussed in the literature, and is often a critical part of practical applications, but there is relatively little formal characterization of how the choice of reward shaping can yield benefits in sample complexity. In this work, we build on the framework of novelty-based exploration to provide a simple scheme for incorporating shaped rewards into RL along with an analysis tool to show that particular choices of reward shaping provably improve sample efficiency. We characterize the class of problems where these gains are expected to be significant and show how this can be connected to practical algorithms in the literature. We confirm that these results hold in practice in an experimental evaluation, providing an insight into the mechanisms through which reward shaping can significantly improve the complexity of reinforcement learning while retaining asymptotic performance.

研究动机与目标

• 正式分析奖励塑形如何提升强化学习中的样本效率，特别是在朴素探索不可行的情况下。
• 弥补奖励塑形在理论理解上的空白，尽管其在实践中被广泛使用，但缺乏形式化依据。
• 开发一种有原则的算法——UCBVI-Shaped，将塑形奖励整合到基于乐观的探索中，并实现可证明的复杂度优势。
• 刻画奖励塑形在样本复杂度上实现显著提升的条件，尤其是在高维或稀疏奖励环境中。

提出的方法

• 提出 UCBVI-Shaped，UCBVI 的一种变体，通过两种机制将塑形奖励整合：奖励衰减与值投影。
• 使用塑形奖励项 eV，通过 eV(s) ≤ V⋆(s) ≤ β eV(s) 对所有状态 s 的最优值函数 V⋆ 实现乘法边界约束。
• 通过重新加权标准计数基探索奖励 1/√Nh(s,a) 与塑形奖励 eV(s)，实现奖励衰减，从而在保持乐观性的同时实现更快衰减。
• 通过值投影机制，将学习到的 Q 函数限制在塑形值函数范围内，防止过度乐观，加速收敛。
• 在 β 夹逼条件下分析遗憾界，表明通过减少对时域 H 和状态空间大小 |S| 的依赖，样本复杂度得以改善。
• 通过在存在塑形奖励的环境中进行实证评估，验证理论结论，包括迷宫、仿真到现实迁移以及物体操作任务。

实验结果

研究问题

• RQ1 奖励塑形是否能可证明地降低强化学习中的样本复杂度，而不仅限于经验观察？
• RQ2 将近似最优值函数的塑形奖励引入后，对基于乐观的强化学习算法的收敛速度有何影响？
• RQ3 哪些结构组件——奖励衰减与值投影——使得塑形强化学习中的样本效率得到提升？
• RQ4 在哪些类型的环境中，奖励塑形能带来样本复杂度的最大改进？
• RQ5 UCBVI-Shaped 中的自适应奖励衰减如何缓解次优塑形带来的负面影响，相较于线性叠加塑形奖励的方法？

主要发现

• UCBVI-Shaped 通过使用具有乘法界 β 的塑形奖励，显著降低了对时域 H 和状态空间大小 |S| 的依赖，实现可证明的样本复杂度改进。
• 奖励衰减机制使探索奖励能够更快衰减，同时保持足够的乐观性，从而实现更高效的全状态空间覆盖。
• 值投影通过限制学习到的 Q 函数，防止过度乐观，加速收敛并实现对次优动作的早期剪枝。
• 实证结果表明，即使在次优塑形下，UCBVI-Shaped 也能避免陷入次优策略，而标准塑形奖励方法（线性叠加 eV）则无法避免。
• 在迷宫、仿真到现实迁移和物体操作等环境中，该方法成功剪枝了大量状态空间，展现出显著的样本效率提升。
• 该算法在显著提升学习速度的同时保持了渐近性能，验证了塑形能提升效率而不损害最终策略质量。