[论文解读] Reinforcement Learning by Comparing Immediate Reward

Punit Pandey, Deepshikha Pandey+1 more|arXiv (Cornell University)|Sep 14, 2010

Reinforcement Learning in Robotics参考文献 2被引用 5

一句话总结

本文提出了一种新型Q-learning变体，该方法通过比较当前即时奖励与上一时刻的奖励来选择动作，而非依赖累积奖励信号。通过优先选择相对于过去表现具有更高即时奖励的动作，该算法减少了收敛到最优Q值所需的episode数量，在20×20网格世界环境中相比标准Q-learning展现出更快的学习速度。

ABSTRACT

This paper introduces an approach to Reinforcement Learning Algorithm by comparing their immediate rewards using a variation of Q-Learning algorithm. Unlike the conventional Q-Learning, the proposed algorithm compares current reward with immediate reward of past move and work accordingly. Relative reward based Q-learning is an approach towards interactive learning. Q-Learning is a model free reinforcement learning method that used to learn the agents. It is observed that under normal circumstances algorithm take more episodes to reach optimal Q-value due to its normal reward or sometime negative reward. In this new form of algorithm agents select only those actions which have a higher immediate reward signal in comparison to previous one. The contribution of this article is the presentation of new Q-Learning Algorithm in order to maximize the performance of algorithm and reduce the number of episode required to reach optimal Q-value. Effectiveness of proposed algorithm is simulated in a 20 x20 Grid world deterministic environment and the result for the two forms of Q-Learning Algorithms is given.

研究动机与目标

• 为解决标准Q-learning因依赖累积奖励以及偶尔出现负奖励而导致收敛缓慢的问题。
• 减少在强化学习任务中达到最优Q值所需episode的数量。
• 开发一种无需模型、可交互学习的方法，利用相对奖励比较进行动作选择。
• 评估在确定性网格世界环境中基于相对奖励的学习方法的有效性。

提出的方法

• 该算法将当前即时奖励与前一动作的奖励进行比较。
• 仅当当前动作的即时奖励高于前一动作的奖励时，才选择该动作。
• 修改Q值更新规则，以整合相对奖励比较，优先考虑随时间的改进。
• 该方法在无模型设置下运行，与标准Q-learning类似，但采用了修改后的探索与选择策略。
• 算法使用确定性的20×20网格世界环境来模拟并评估性能。
• 通过比较所提方法与标准Q-learning在达到最优Q值所需episode数量上的表现来衡量性能。

实验结果

研究问题

• RQ1 将即时奖励与过去奖励进行比较，是否能提升强化学习中的学习速度？
• RQ2 基于相对奖励的选择机制是否能减少达到最优Q值所需的episode数量？
• RQ3 在确定性网格世界中，所提算法与标准Q-learning相比表现如何？
• RQ4 奖励比较对收敛稳定性和性能有何影响？

主要发现

• 所提出的基于相对奖励的Q-learning算法在比标准Q-learning更少的episode内收敛到最优Q值。
• 该算法通过避免选择即时奖励低于或停滞于前一时刻的行动，实现了更快的学习。
• 在20×20网格世界环境中，新方法显著减少了达到最优性能所需的episode数量。
• 结果表明，相对奖励比较可提升无模型强化学习中的学习效率。