[论文解读] Self-Imitation Advantage Learning

Johan Ferret, Olivier Pietquin+1 more|arXiv (Cornell University)|Dec 22, 2020

Reinforcement Learning in Robotics参考文献 49被引用 8

一句话总结

本文提出 SAIL（Self-Imitation Advantage Learning），一种将自模仿学习推广至离策略强化学习的一般化方法，可显著提升稀疏奖励与高难度探索环境中的学习效率。通过在观测回报与当前动作价值估计之间取最乐观的回报估计，SAIL 有效缓解了过时回报问题，在 Arcade Learning Environment 上对 DQN 与 IQN 智能体均表现出性能提升，尤其在具有挑战性的游戏中效果显著。

ABSTRACT

Self-imitation learning is a Reinforcement Learning (RL) method that encourages actions whose returns were higher than expected, which helps in hard exploration and sparse reward problems. It was shown to improve the performance of on-policy actor-critic methods in several discrete control tasks. Nevertheless, applying self-imitation to the mostly action-value based off-policy RL methods is not straightforward. We propose SAIL, a novel generalization of self-imitation learning for off-policy RL, based on a modification of the Bellman optimality operator that we connect to Advantage Learning. Crucially, our method mitigates the problem of stale returns by choosing the most optimistic return estimate between the observed return and the current action-value for self-imitation. We demonstrate the empirical effectiveness of SAIL on the Arcade Learning Environment, with a focus on hard exploration games.

研究动机与目标

• 将原本专为在线策略方法设计的自模仿学习，推广至离策略强化学习设置中。
• 解决离策略自模仿学习中因过时回报导致的学习偏向悲观的问题。
• 开发一种通用且轻量级的方法，可与标准离策略算法（如 DQN 与 IQN）兼容。
• 提升稀疏奖励与高难度探索环境中样本效率与性能表现。
• 将自模仿学习与优势学习相连接，从而在动作差距最大化方面结合两者优势。

提出的方法

• SAIL 通过将自模仿中的观测回报替换为观测回报与当前动作价值估计中的最大值，修改贝尔曼最优性算子。
• 该方法基于观测回报与估计值之间的差异设计奖励增益，但仅在观测回报更具乐观性时启用。
• 在保持标准时序差分更新用于动作价值学习的同时，通过修改后的回报估计引入自模仿机制。
• 该方法兼容显式与隐式策略，可无缝集成至标准离策略算法（如 DQN 与 IQN）中。
• SAIL 与优势学习在理论上存在联系，二者均旨在增大动作差距，但 SAIL 通过高回报轨迹的自模仿实现该目标。
• 该方法实现为对目标网络更新的简单修改，对现有离策略算法仅需极少代码改动。

实验结果

研究问题

• RQ1 自模仿学习能否被有效推广至离策略强化学习算法？
• RQ2 如何缓解离策略自模仿学习中的过时回报问题，以保持对高回报经验的乐观性？
• RQ3 将自模仿学习与动作价值学习结合，是否能提升稀疏奖励与高难度探索环境中的性能表现？
• RQ4 SAIL 与优势学习之间有何关系？能否被视为互补或统一的框架？
• RQ5 SAIL 是否可广泛应用于不同离策略算法，而无需显著的架构修改？

主要发现

• SAIL 在 Arcade Learning Environment 基准测试中，对多种离策略算法（包括 DQN 与 IQN）均表现出一致的性能提升。
• 在 Montezuma’s Revenge 与 Pitfall! 等高难度探索游戏中，SAIL 取得显著性能增益，这些游戏因稀疏奖励而难以学习。
• SAIL 的性能提升归因于其维持乐观回报估计的能力，从而避免了因过时回报导致的性能退化。
• 将 SAIL 集成至现有算法仅需极少代码修改，体现了其轻量级与实际应用价值。
• 实验结果表明，SAIL 有效增大了动作差距，与理论上的优势学习连接一致。
• SAIL 与内在动机方法（如 RND）具有良好的协同效应，表明二者结合可进一步提升性能。