[论文解读] Self-Imitation Learning via Generalized Lower Bound Q-learning

Yunhao Tang|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 48被引用 11

一句话总结

本文通过n步下界Q-learning提出广义自模仿学习（SIL），将原始SIL扩展至更优的离策略强化学习，引入可控的正偏差以平衡固定点误差与收缩率。该方法在连续控制基准测试中优于标准PPO和基线离策略算法，实现了在无重要性采样情况下的高离策略数据稳定、长时程学习。

ABSTRACT

Self-imitation learning motivated by lower-bound Q-learning is a novel and effective approach for off-policy learning. In this work, we propose a n-step lower bound which generalizes the original return-based lower-bound Q-learning, and introduce a new family of self-imitation learning algorithms. To provide a formal motivation for the potential performance gains provided by self-imitation learning, we show that n-step lower bound Q-learning achieves a trade-off between fixed point bias and contraction rate, drawing close connections to the popular uncorrected n-step Q-learning. We finally show that n-step lower bound Q-learning is a more robust alternative to return-based self-imitation learning and uncorrected n-step, over a wide range of continuous control benchmark tasks.

研究动机与目标

• 将自模仿学习（SIL）的形式化与泛化超越其原始的基于回报的公式，以提升灵活性与适用性。
• 分析SIL中固定点偏差与收缩率之间的权衡，揭示其与未校正n步Q-learning的理论相似性。
• 通过实证表明，广义SIL在多样化连续控制环境中，相较于未校正n步Q-learning与基于回报的SIL，展现出更一致且更优越的性能。
• 提供一种理论基础坚实、鲁棒的离策略方法，替代基于重要性采样的方法，避免高方差的同时保持从离策略数据中有效学习的能力。

提出的方法

• 提出一种广义的n步下界Q-learning算子，将原始基于回报的下界扩展至部分轨迹与学习的Q函数。
• 引入一族自模仿学习算法，使用n步下界作为目标，实现从高性能行为策略转移中进行bootstrapping。
• 利用学习的Q函数对下界进行bootstrapping，使算法即使在稀疏或延迟奖励情况下也能有效运行。
• 在评估算子的固定点中引入正偏差，系统性地鼓励从高回报行为轨迹中学习。
• 将该方法应用于确定性与随机演员-critic框架，扩大其适用范围，超越原始SIL的限制。
• 采用截断的n步回报公式，平衡长时程信用分配与方差减少，避免完整的重要性采样。

实验结果

研究问题

• RQ1 如何将自模仿学习从基于回报的公式泛化，以提升样本效率与灵活性？
• RQ2 在n步下界Q-learning中，固定点偏差与收缩率之间的理论权衡是什么？其与未校正n步Q-learning相比有何异同？
• RQ3 广义n步下界Q-learning方法是否能在多样化连续控制基准测试中，优于基于回报的SIL与未校正n步Q-learning？
• RQ4 下界算子中引入的正偏差是否能带来比未校正n步方法中任意偏差更稳定、更一致的学习表现？
• RQ5 n的选择如何影响不同环境中的性能表现？是否在任务层面自适应调整n值具有优势？

主要发现

• 广义n步下界Q-learning在固定点偏差与收缩率之间实现了有利权衡，与未校正n步Q-learning类似，但保证了正偏差，与策略改进方向一致。
• 该方法在四个OpenAI Gym连续控制基准测试（HalfCheetah、Ant、Walker2d、Humanoid）中优于标准PPO与基线离策略算法。
• 在Ant与Humanoid环境中，n=5的广义SIL显著优于标准SIL（n→∞），表明中间n值可能比全时域模仿更有效。
• 广义SIL与基于回报SIL之间的性能差距在Humanoid等复杂环境中最为显著，表明长时程信用分配在此类任务中至关重要。
• 广义SIL在多样化任务中表现出鲁棒性，相较于未校正n步Q-learning与基于回报SIL持续提升性能，尤其在稀疏奖励环境中。
• 实证结果表明，根据环境自适应调整n（如Humanoid中n=5）可获得优于固定大n值的性能，表明n是具有实际影响的可调超参数。