[论文解读] Prioritizing Samples in Reinforcement Learning with Reducible Loss

Shivakanth Sujit, Somjit Nath+2 more|arXiv (Cornell University)|Aug 22, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种新型的回放缓冲区样本优先化方法——可约简损失（Reducible Loss, ReLo），其依据样本的损失约简潜力而非仅高损失来选择经验。通过测量在线网络与目标网络预测之间的差异，ReLo 能够识别出可学习的转移样本，从而在 DM Control Suite 和 Atari 等环境中实现更低的时序差分（TD）误差，并提升样本效率，优于均匀采样和基于损失的优先经验回放（PER）。

ABSTRACT

Most reinforcement learning algorithms take advantage of an experience replay buffer to repeatedly train on samples the agent has observed in the past. Not all samples carry the same amount of significance and simply assigning equal importance to each of the samples is a naïve strategy. In this paper, we propose a method to prioritize samples based on how much we can learn from a sample. We define the learn-ability of a sample as the steady decrease of the training loss associated with this sample over time. We develop an algorithm to prioritize samples with high learn-ability, while assigning lower priority to those that are hard-to-learn, typically caused by noise or stochasticity. We empirically show that our method is more robust than random sampling and also better than just prioritizing with respect to the training loss, i.e. the temporal difference loss, which is used in prioritized experience replay.

研究动机与目标

• 通过识别具有最大学习潜力的样本，解决经验回放缓冲区中均匀采样和基于损失采样的低效问题。
• 克服优先经验回放（PER）的局限性，即优先处理高损失样本，而这些样本可能因噪声或随机性而难以学习。
• 开发一种简单、低开销的方法，基于样本的可学习性（即随时间减少训练损失的潜力）进行优先化。
• 证明基于可约简损失的优先化可实现更鲁棒、更高效的训练，适用于多样化的强化学习基准测试。
• 提供一种理论基础扎实且经实证验证的 PER 替代方案，可提升泛化能力并降低验证阶段的 TD 误差。

提出的方法

• 将可约简损失（ReLo）定义为给定转移样本中在线 Q 网络损失与目标网络损失之间的差异，以捕捉损失可约简的潜力。
• 在异策略 Q 学习算法中，利用目标网络作为保留模型的代理，无需额外训练即可计算 ReLo。
• 在回放缓冲区采样过程中，优先选择 ReLo 值更高的样本——即损失具有显著约简潜力的样本。
• 通过仅在每个样本上增加一次前向传播，将 ReLo 轻松集成到 DQN 和 SAC 等现有异策略强化学习算法中，实现最小代码修改。
• 通过重用现有组件（如目标网络）并避免引入额外模型参数或复杂优化，保持计算效率。
• 可将 ReLo 用于替代或与 PER 结合使用，实现灵活集成至标准训练流程中，且对学习动态影响甚微。

实验结果

研究问题

• RQ1 基于可学习性（以可约简损失衡量）进行样本优先化，是否能实现深度强化学习中更快且更稳定的训练？
• RQ2 在多样化环境中，ReLo 在降低训练过程中的时序差分（TD）误差方面，相较于均匀采样和 PER 表现如何？
• RQ3 通过 ReLo 实现的更低验证阶段 TD 误差，是否与提升的样本效率和最终智能体性能相关？
• RQ4 ReLo 是否可实现极低计算开销地集成到现有异策略强化学习算法中？
• RQ5 ReLo 是否能避免 PER 的缺陷，如因噪声或随机性导致反复采样难以学习的高损失样本？

主要发现

• ReLo 在各类环境中均持续降低训练阶段的 TD 误差，在 DM Control Suite 和 Atari 基准测试中均优于均匀采样和 PER。
• 在 DM Control Suite 中，ReLo 在 CheetahRun 任务上的验证 TD 误差为 0.12 ± 0.033，显著低于 PER 的 0.03 ± 0.003，表明其泛化能力和学习效率更优。
• 在 QuadrupedRun 任务中，ReLo 将验证 TD 误差降低至 0.35 ± 0.067，而 PER 为 2.24 ± 0.127，表明其在复杂运动控制任务中表现更优。
• 在 Atari 环境中，ReLo 保持或略微优于 Rainbow 基线模型，Jamesbond 任务上的 TD 误差为 1.142 ± 0.174，低于 Rainbow 的 1.653 ± 0.819，展现出在离散控制任务中的鲁棒性。
• 验证了更低的验证 TD 误差与更高的样本效率之间存在相关性，支持 ReLo 作为学习潜力代理的有效性。
• ReLo 仅需在目标网络上增加一次前向传播，计算开销可忽略不计，因此适用于实际强化学习部署。