[论文解读] Taming the Noise in Reinforcement Learning via Soft Updates

Roy Fox, Ari Pakman+1 more|arXiv (Cornell University)|Dec 28, 2015

Reinforcement Learning in Robotics参考文献 34被引用 67

一句话总结

本文提出G-learning，一种离策略强化学习算法，通过引入基于信息论的正则化项来惩罚确定性策略，从而在噪声环境中减少价值函数估计偏差。通过随时间调度该惩罚项，G-learning实现了更快的收敛速度和更高的样本效率，优于Q-learning，并在探索感知学习中达到或超越了Expected-SARSA等同策略方法的性能。

ABSTRACT

Model-free reinforcement learning algorithms, such as Q-learning, perform poorly in the early stages of learning in noisy environments, because much effort is spent unlearning biased estimates of the state-action value function. The bias results from selecting, among several noisy estimates, the apparent optimum, which may actually be suboptimal. We propose G-learning, a new off-policy learning algorithm that regularizes the value estimates by penalizing deterministic policies in the beginning of the learning process. We show that this method reduces the bias of the value-function estimation, leading to faster convergence to the optimal value and the optimal policy. Moreover, G-learning enables the natural incorporation of prior domain knowledge, when available. The stochastic nature of G-learning also makes it avoid some exploration costs, a property usually attributed only to on-policy algorithms. We illustrate these ideas in several examples, where G-learning results in significant improvements of the convergence rate and the cost of the learning process.

研究动机与目标

• 为解决Q-learning在噪声环境中因硬最大操作导致的值估计偏差而引起的收敛缓慢问题。
• 通过在确定性策略上施加基于信息论的惩罚项，减少无模型强化学习中的估计偏差。
• 使离策略算法能够自然地融入探索成本意识，这一特性通常仅限于同策略方法。
• 提供一种简单而有效的正则化系数调度策略，以在学习过程中平衡探索与利用。
• 证明偏差减少可带来学习速度和成本效率的可测量提升。

提出的方法

• 提出G-learning，一种离策略算法，在Q-learning更新规则中增加基于信息论的惩罚项，以避免过早地确定性策略承诺。
• 该惩罚项基于当前策略与随机先验策略之间的Kullback-Leibler散度，用于在学习初期对值估计进行正则化。
• 正则化系数β随时间调度——初始值较高以偏好随机性，随后逐渐降低以允许确定性策略收敛。
• 该算法采用线性调度方式调节β，实证表明其在实践中表现良好。
• G-learning在保持离策略学习能力的同时，通过其随机策略正则化实现了类似同策略方法的探索成本意识。
• 该方法兼容标准函数逼近、经验回放及其他增量学习技术。

实验结果

研究问题

• RQ1 离策略算法是否能在不牺牲样本效率的前提下，减少噪声环境中价值函数的估计偏差？
• RQ2 对策略确定性的信息论正则化是否能加速无模型强化学习中的收敛？
• RQ3 离策略算法能否实现与Expected-SARSA等同策略方法相当的探索成本意识？
• RQ4 一种有效的正则化系数β调度策略是什么，能够平衡探索与利用？
• RQ5 在收敛速度和成本效率方面，G-learning与Q-learning及同策略算法相比表现如何？

主要发现

• G-learning通过避免对噪声且次优的最大操作过度拟合，在学习初期显著减少了值估计偏差。
• 在悬崖环境实验中，G-learning收敛速度优于Q-learning，且在避开悬崖方面比Q-learning更可靠，尽管其为离策略算法。
• 在收敛速度方面，G-learning优于Expected-SARSA，同时在探索成本效率方面达到相当或更优水平。
• 通过选择合适的随机先验策略，算法能有效利用领域先验知识，从而在有可用时提升学习效率。
• 正则化系数β的线性调度在实践中表现良好，实现了从探索到利用的平稳过渡。
• 实证结果表明，G-learning在多个网格世界环境中，比Q-learning、Double-Q及其他基线算法更快速地降低Bellman误差。