[论文解读] Reinforcement Learning with Perturbed Rewards

Jingkang Wang, Yang Liu+1 more|arXiv (Cornell University)|Oct 2, 2018

Reinforcement Learning in Robotics参考文献 48被引用 15

一句话总结

该论文提出了一种鲁棒强化学习框架，通过使用可学习的混淆矩阵从扰动奖励中估计无偏的替代奖励，实现在无真实奖励分布先验知识的噪声环境中有效学习。该方法实现了最先进性能，在五款Atari游戏中，PPO算法在10%和30%噪声率下分别实现了平均得分提升84.6%和80.8%。

ABSTRACT

Recent studies have shown that reinforcement learning (RL) models are vulnerable in various noisy scenarios. For instance, the observed reward channel is often subject to noise in practice (e.g., when rewards are collected through sensors), and is therefore not credible. In addition, for applications such as robotics, a deep reinforcement learning (DRL) algorithm can be manipulated to produce arbitrary errors by receiving corrupted rewards. In this paper, we consider noisy RL problems with perturbed rewards, which can be approximated with a confusion matrix. We develop a robust RL framework that enables agents to learn in noisy environments where only perturbed rewards are observed. Our solution framework builds on existing RL/DRL algorithms and firstly addresses the biased noisy reward setting without any assumptions on the true distribution (e.g., zero-mean Gaussian noise as made in previous works). The core ideas of our solution include estimating a reward confusion matrix and defining a set of unbiased surrogate rewards. We prove the convergence and sample complexity of our approach. Extensive experiments on different DRL platforms show that trained policies based on our estimated surrogate reward can achieve higher expected rewards, and converge faster than existing baselines. For instance, the state-of-the-art PPO algorithm is able to obtain 84.6% and 80.8% improvements on average score for five Atari games, with error rates as 10% and 30% respectively.

研究动机与目标

• 解决在仅可观测到噪声扰动奖励（如传感器噪声、人类反馈差异性或对抗性操纵）时训练强化学习智能体的挑战。
• 开发一种方法，除奖励混淆矩阵外，不依赖对真实奖励分布或噪声模型的假设。
• 通过从可观测到的扰动奖励中推导出的无偏替代奖励，实现向最优策略的收敛。
• 分析所提出的鲁棒强化学习方法的理论收敛性和样本复杂度。
• 通过实证验证该方法在多样化环境（包括Atari游戏和OpenAI Gym环境）中的鲁棒性与性能提升。

提出的方法

• 该方法使用高效且灵活的估计模块，从可观测到的扰动奖励中估计奖励混淆矩阵，假设真实奖励为确定性。
• 通过反转估计得到的混淆矩阵，构建无偏的替代奖励，使智能体能够如同拥有真实奖励一样进行学习。
• 该框架可无缝集成至现有深度强化学习算法（如PPO、DQN、SAC）中，无需修改其核心训练流程。
• 采用两阶段学习过程：首先从轨迹中估计混淆矩阵，然后使用估计得到的替代奖励进行策略优化。
• 理论分析证明了在替代奖励设置下，Q-learning具有收敛性和有限样本复杂度。
• 在高噪声场景中，应用方差减少技术（VRT）以提升样本效率。

实验结果

研究问题

• RQ1 我们能否在不依赖真实奖励分布先验知识的前提下，从未知的扰动奖励中估计出无偏的替代奖励？
• RQ2 在标准RL失效的高噪声环境（如30%或70%噪声率）中，该方法表现如何？
• RQ3 与基线方法相比，使用替代奖励是否能实现更快的收敛速度和更高的期望累积奖励？
• RQ4 在真实混淆矩阵未知的情况下，混淆矩阵估计模块是否能在实际中快速且准确地收敛？
• RQ5 去噪过程是否会无意中引入有益的探索，从而在性能上超越真实奖励基线？

主要发现

• 在五款Atari游戏中，使用PPO算法时，该方法在10%和30%噪声率下分别实现了平均得分84.6%和80.8%的提升，显著优于使用扰动奖励的标准RL方法。
• 在CartPole环境中，该方法在高噪声设置（如70%噪声率）下，使用替代奖励的性能优于真实奖励基线和方差减少技术，实现了182.3的平均回报。
• 混淆矩阵估计收敛迅速，在大多数设置中，估计值与真实矩阵之间的绝对差值在10,000步内降至0.05以下。
• 在某些环境中，该方法甚至超过了真实奖励基线的性能，表明去噪与探索的结合可能增强学习效果。
• 该方法在多种DRL算法（PPO、DQN、SAC、DDPG）和噪声类型（对称与非对称）中均保持鲁棒性能，展现出广泛适用性。
• 将方差减少技术（VRT）与替代奖励结合，进一步提升了样本效率，尤其在高噪声场景中表现显著。