[论文解读] The Intentional Unintentional Agent: Learning to Solve Many Continuous Control Tasks Simultaneously

Serkan Cabi, Sergio Gómez Colmenarejo+4 more|arXiv (Cornell University)|Jul 11, 2017

Reinforcement Learning in Robotics参考文献 31被引用 18

一句话总结

本文提出了一种名为意图性非意图性（Intentional Unintentional, IU）的智能体，这是一种深度强化学习架构，通过在多头演员-critic框架中使用共享表征，同时学习多个连续控制策略。该智能体在主（意图性）任务上进行训练的同时，以离策略方式学习其他（非意图性）任务，从而加速学习过程，并解决了标准DDPG在高维、接触丰富的环境中因稀疏奖励而失败的复杂任务。

ABSTRACT

This paper introduces the Intentional Unintentional (IU) agent. This agent endows the deep deterministic policy gradients (DDPG) agent for continuous control with the ability to solve several tasks simultaneously. Learning to solve many tasks simultaneously has been a long-standing, core goal of artificial intelligence, inspired by infant development and motivated by the desire to build flexible robot manipulators capable of many diverse behaviours. We show that the IU agent not only learns to solve many tasks simultaneously but it also learns faster than agents that target a single task at-a-time. In some cases, where the single task DDPG method completely fails, the IU agent successfully solves the task. To demonstrate this, we build a playroom environment using the MuJoCo physics engine, and introduce a grounded formal language to automatically generate tasks.

研究动机与目标

• 开发一种深度强化学习智能体，能够同时学习多个连续控制任务，其灵感来源于婴儿发展过程以及在专注执行某项任务时对多种技能的偶然习得。
• 通过利用物理仿真环境中自动生成的多变量、语义相关的奖励函数流，克服连续控制中稀疏奖励的挑战。
• 探究同时学习多个任务（尤其是偶然习得的任务）是否能相比单任务训练，加速学习过程并提高样本效率。
• 实现对非意图性学习策略的重用，以应对未来的意图性任务，从而为灵活机器人操作构建可重用控制策略库。
• 探索课程学习在多任务强化学习中的作用，特别是选择最困难的任务作为行为策略是否能优化经验回放和探索。

提出的方法

• 提出一种多头演员网络，包含共享的低层表征和非共享的输出头，每个输出头代表一个不同控制任务的独立策略。
• 采用共享观测、多头评论家网络，为每个任务计算状态-动作值函数，每个策略对应独立的Q值头。
• 使用确定性策略梯度（DDPG）进行训练，其中智能体根据一个策略（意图性任务）行动，同时使用经验回放对所有其他策略进行离策略更新。
• 引入一种基于语义的正式语言，自动在基于MuJoCo的游戏室环境中生成多样化且语义有意义的控制任务（例如，“将红色方块移动到蓝色方块的东侧”）。
• 设计一个包含重力、刚体和简单具身智能体的物理环境，保持固定的物理定律和身体结构，以支持持续且可迁移的学习。
• 采用优先采样经验回放机制，其中行为策略（意图性任务）决定了用于更新所有其他策略的离策略经验分布。

实验结果

研究问题

• RQ1 智能体是否可以通过专注于一项任务而偶然习得其他任务，实现多个连续控制任务的同时学习，并且这是否能提升学习速度和成功率？
• RQ2 使用共享表征和经验回放缓冲区对多个任务进行离策略学习，是否相比单任务DDPG在复杂探索任务中展现出更高的样本效率和性能？
• RQ3 非意图性学习的策略是否可以被有效重用于新意图性任务？这如何支持机器人领域中的终身学习和可迁移学习？
• RQ4 在多任务强化学习中，选择最困难的任务作为行为策略是否是最优的课程学习策略？为何其优于随机或自适应策略选择？
• RQ5 在嵌套任务结构中（例如，先移动一个方块，再移动两个，最后移动三个），任务的层级结构如何影响IU智能体在复杂多体控制场景下的学习动态和成功率？

主要发现

• IU智能体成功解决了标准DDPG智能体因稀疏奖励和高探索难度而完全失败的复杂连续控制任务，例如同时移动三个或更多方块。
• 同时学习多个任务可显著加速训练过程：智能体学习的任务越多，所有策略的收敛速度越快，包括主（意图性）任务。
• 智能体在遵循单一行为策略的同时，能够以离策略方式解决所有任务，证明了偶然习得的多种技能可被有效利用于未来任务。
• 选择最困难的任务作为行为策略优于随机或自适应策略选择，因为它能将丰富多样的经验填入经验回放缓冲区，从而支持对复杂状态空间的探索。
• 在具有嵌套任务结构的环境中（例如，移动一个方块是移动两个方块的前提），IU智能体能够利用任务的层次特性，提升整体学习效率。
• 该架构支持对已学习策略的重用，为构建可重用控制策略库以实现灵活机器人操作提供了可行路径。