[论文解读] Redeeming Intrinsic Rewards via Constrained Optimization

Eric Chen, Zhang-Wei Hong+2 more|arXiv (Cornell University)|Nov 14, 2022

Reinforcement Learning in Robotics被引用 11

一句话总结

本文提出外在-内在策略优化（Extrinsic-Intrinsic Policy Optimization, EIPO），一种约束优化框架，可动态平衡强化学习中的内在奖励与外在奖励。通过将探索建模为约束优化问题，EIPO在无需时自动抑制内在奖励，在稀疏探索阶段则增强其影响，从而在61款Atari游戏中实现无需手动调参的一致性能提升。

ABSTRACT

State-of-the-art reinforcement learning (RL) algorithms typically use random sampling (e.g., $ε$-greedy) for exploration, but this method fails on hard exploration tasks like Montezuma's Revenge. To address the challenge of exploration, prior works incentivize exploration by rewarding the agent when it visits novel states. Such intrinsic rewards (also called exploration bonus or curiosity) often lead to excellent performance on hard exploration tasks. However, on easy exploration tasks, the agent gets distracted by intrinsic rewards and performs unnecessary exploration even when sufficient task (also called extrinsic) reward is available. Consequently, such an overly curious agent performs worse than an agent trained with only task reward. Such inconsistency in performance across tasks prevents the widespread use of intrinsic rewards with RL algorithms. We propose a principled constrained optimization procedure called Extrinsic-Intrinsic Policy Optimization (EIPO) that automatically tunes the importance of the intrinsic reward: it suppresses the intrinsic reward when exploration is unnecessary and increases it when exploration is required. The results is superior exploration that does not require manual tuning in balancing the intrinsic reward against the task reward. Consistent performance gains across sixty-one ATARI games validate our claim. The code is available at https://github.com/Improbable-AI/eipo.

研究动机与目标

• 解决强化学习中内在奖励不一致的问题，避免其在简单任务上分散智能体注意力，尽管在困难探索任务中能提升性能。
• 克服固定超参数λ在组合内在与外在奖励时的局限性，该参数常因权衡调节不佳导致次优性能。
• 提出一种系统性方法，根据智能体当前的探索需求自动调节内在奖励的影响。
• 确保策略优化始终与真实的外在奖励目标对齐，避免受内在奖励信号偏差的影响。

提出的方法

• 将强化学习目标建模为约束优化问题，即在内在奖励累积受约束的前提下最大化外在回报。
• 使用拉格朗日松弛法推导对偶优化问题，联合更新策略与拉格朗日乘子，实现对内在奖励影响的自适应控制。
• 与现有内在奖励函数（如RND和ICM）集成，使其与具体内在奖励机制无关。
• 在策略梯度框架（如PPO）中应用该方法，支持外在奖励与约束内在奖励目标的端到端训练。
• 在训练过程中动态调整内在奖励的重要性：当外在进展足够时抑制其影响，当需要发现新状态时则增强其作用。
• 仅使用一个超参数（α）控制约束阈值，另一个（β）控制拉格朗日乘子更新，两者在每个环境中调优一次并复用于所有实验。

实验结果

研究问题

• RQ1 约束优化框架能否在无需手动调参的情况下自动平衡强化学习中的内在与外在奖励？
• RQ2 EIPO是否在探索难度各异的多样化Atari环境中，均优于标准内在奖励方法与仅使用外在奖励的基线方法？
• RQ3 当内在奖励与外在奖励不一致时（如环境存在误导性新颖性信号），EIPO表现如何？
• RQ4 在密集奖励环境（如MuJoCo）中，EIPO能否保持强性能，其中内在奖励作用较小？
• RQ5 EIPO在不同内在奖励机制（如RND与ICM）下的性能增益是否具有鲁棒性？

主要发现

• EIPO-RND在61款Atari游戏中均优于所有基线模型，包括仅使用外在奖励的PPO和使用噪声探索的PPO，且在所有基线中性能提升概率 >0.5。
• 在Montezuma’s Revenge等稀疏奖励使探索至关重要的游戏中，EIPO的最终得分显著高于仅使用外在奖励的方法。
• 在James Bond等简单探索任务中，EIPO通过抑制不必要的探索，避免了标准内在奖励方法常见的性能下降。
• EIPO-ICM在ICM生成误导性内在奖励的环境中（如Kaboom），成功缩小了与PPO的性能差距，展现出对奖励错位的鲁棒性。
• 在MuJoCo等密集奖励环境中，EIPO的性能与PPO持平或更优，证实其在简单任务中不会导致性能下降。
• 该方法在无需为每个环境重新调参的情况下实现一致性能提升，验证了其在不同任务间的适应性与泛化能力。