[论文解读] SMiRL: Surprise Minimizing RL in Dynamic Environments

Glen Berseth, Daniel Geng+4 more|arXiv (Cornell University)|Dec 11, 2019

Reinforcement Learning in Robotics参考文献 20被引用 17

一句话总结

SMiRL 是一种无监督强化学习方法，通过学习可预测、稳定的策略来最小化环境中的意外性，从而在无需特定任务奖励的情况下训练智能体。该方法在刺激的概率建模与策略优化之间交替进行，使智能体能够通过内在动机减少不可预测性，从而掌握如俄罗斯方块、人形机器人平衡和迷宫导航等任务。

ABSTRACT

Every living organism struggles against disruptive environmental forces to carve out and maintain an orderly niche. We propose that such a struggle to achieve and preserve order might offer a principle for the emergence of useful behaviors in artificial agents. We formalize this idea into an unsupervised reinforcement learning method called surprise minimizing reinforcement learning (SMiRL). SMiRL alternates between learning a density model to evaluate the surprise of a stimulus, and improving the policy to seek more predictable stimuli. The policy seeks out stable and repeatable situations that counteract the environment's prevailing sources of entropy. This might include avoiding other hostile agents, or finding a stable, balanced pose for a bipedal robot in the face of disturbance forces. We demonstrate that our surprise minimizing agents can successfully play Tetris, Doom, control a humanoid to avoid falls, and navigate to escape enemies in a maze without any task-specific reward supervision. We further show that SMiRL can be used together with standard task rewards to accelerate reward-driven learning.

研究动机与目标

• 开发一种无监督强化学习框架，使智能体能够通过减少环境不可预测性的内在动机发现有用的行为。
• 形式化提出最小化意外性（定义为与预期刺激的偏差）可作为动态、具有干扰性的环境中通用的学习信号。
• 使智能体能够自主学习鲁棒且稳定的行为，如保持平衡和规避行为，而无需显式的奖励塑形或密集监督。
• 证明意外性最小化可作为通用策略学习的基础，即使在缺乏特定任务奖励的情况下亦成立。

提出的方法

• 该方法在训练密度模型以估计观测刺激的可能性（从而将意外性量化为负对数似然）与策略优化之间交替进行。
• 策略被优化以选择能导致低意外性刺激的动作，从而促进对稳定、可重复环境状态的探索。
• 该框架整合了一个世界模型，用于预测未来观测结果，使智能体能够预期并避免高熵、具有破坏性的状态。
• 将意外性最小化与标准密集奖励结合，采用混合训练方案，以加速下游任务的学习。
• 通过强化学习训练策略以最大化预期的反意外性，从而有效寻求可预测且可控的环境。
• 该方法被应用于连续控制和离散序列决策任务，包括机器人运动控制和视频游戏环境。

实验结果

研究问题

• RQ1 智能体是否仅通过将意外性最小化作为学习信号，就能在动态环境中学习保持稳定并执行复杂行为？
• RQ2 在缺乏特定任务奖励函数的情况下，意外性最小化在促进智能体发现有用且鲁棒行为方面的有效性如何？
• RQ3 当与标准密集奖励结合时，意外性最小化在下游任务中能在多大程度上提升样本效率？
• RQ4 意外性最小化是否能在复杂环境中引发涌现行为，如规避、平衡和战略规划？

主要发现

• SMiRL 智能体通过最小化意外性成功学习了俄罗斯方块游戏，实现了高分，且未进行任何特定任务的奖励塑形。
• 在 Doom 环境中，智能体通过寻找可预测、低意外性的路径，学会了躲避敌人并导航迷宫，展示了涌现的生存行为。
• 在 SMiRL 训练下，人形智能体通过寻求稳定、可重复的姿势，在扰动力作用下保持了平衡，显著减少了动态条件下的跌倒次数。
• 当与标准密集奖励结合时，SMiRL 显著加速了下游任务的收敛，提升了样本效率。
• 该方法使智能体仅通过内在动机便发现了复杂的目标导向行为，如路径规划和物体操作。
• 意外性最小化产生了对多样化环境扰动具有泛化能力的鲁棒策略，在稳定性和适应性方面优于基线方法。