[论文解读] Training Agents using Upside-Down Reinforcement Learning

Rupesh Kumar Srivastava, Pranav Shyam+3 more|arXiv (Cornell University)|Dec 5, 2019

Reinforcement Learning in Robotics参考文献 70被引用 20

一句话总结

本文提出了一种名为倒置强化学习（Upside-Down Reinforcement Learning, UDRL）的方法，该方法通过将学习任务建模为遵循高层指令（如“在T步内获得奖励R”）的方式，仅使用监督学习训练智能体。与最大化期望回报不同，UDRL通过利用过去轨迹的回溯性示范，训练行为策略将指令映射到动作，从而在不使用传统强化学习组件的情况下，在回合制任务中实现了具有竞争力的性能。

ABSTRACT

We develop Upside-Down Reinforcement Learning (UDRL), a method for learning to act using only supervised learning techniques. Unlike traditional algorithms, UDRL does not use reward prediction or search for an optimal policy. Instead, it trains agents to follow commands such as "obtain so much total reward in so much time." Many of its general principles are outlined in a companion report; the goal of this paper is to develop a practical learning algorithm and show that this conceptually simple perspective on agent training can produce a range of rewarding behaviors for multiple episodic environments. Experiments show that on some tasks UDRL's performance can be surprisingly competitive with, and even exceed that of some traditional baseline algorithms developed over decades of research. Based on these results, we suggest that alternative approaches to expected reward maximization have an important role to play in training useful autonomous agents.

研究动机与目标

• 开发一种实用的替代传统强化学习的方法，避免奖励最大化和非平稳目标。
• 使智能体能够从过去轨迹的回溯性解释中学习，作为命令遵循的监督示范。
• 证明仅在命令-动作对上进行监督学习即可生成高回报行为，而无需价值函数近似或奖励预测。
• 探索基于命令的学习是否能在样本效率和性能方面与传统强化学习基线相当或更优。

提出的方法

• 智能体被训练为使用行为函数 B(s, c) 将命令（例如“在T步内获得总奖励R”）映射到动作，其中 c 为命令。
• 过去轨迹被回溯性地解释为命令实现的成功示范，构成监督学习的训练数据。
• 通过轨迹中的观测回报和时间范围构建命令，实现对状态-动作对的基于回溯的标注。
• 行为函数使用标准监督学习目标进行训练，不涉及奖励预测或时序差分学习。
• 使用命令可行性过滤器优先选择可能实现的命令，以提升学习稳定性。
• 该方法避免使用传统强化学习组件（如目标网络、价值网络或奖励塑形），仅依赖监督函数近似。

实验结果

研究问题

• RQ1 智能体是否能仅通过命令-动作对的监督学习，在回合制环境中学习到高回报行为？
• RQ2 训练智能体遵循多样化命令（如“在T步内获得R奖励”）是否能带来优于传统奖励最大化的泛化能力？
• RQ3 UDRL是否能在基准任务中实现与传统强化学习基线相当或更优的样本效率和最终性能？
• RQ4 该方法在训练后如何处理延迟奖励和不同的命令规格？
• RQ5 行为函数是否能在无需额外稳定技术的情况下，有效泛化到不同状态和命令？

主要发现

• UDRL在多个回合制环境中表现出令人惊讶的竞争力，部分情况下优于或匹配了传统强化学习基线。
• 该方法成功学习了对期望奖励和时间范围的命令进行遵循，即使在存在延迟奖励的环境中也有效。
• 经UDRL训练的智能体可在不重新训练的情况下，于训练后根据新命令调整行为，展现出对命令解释的灵活性。
• 行为函数在状态和命令之间表现出良好的泛化能力，表明强大的函数逼近器（如神经网络）可有效使用，而无需目标网络或价值函数稳定化。
• 实验表明，该方法通过回溯性地将轨迹标注为特定命令目标的成功案例，自然地处理了延迟奖励。
• 该方法在低维动作空间中实现了样本高效的训练，且具备足够的随机性以支持探索。