[论文解读] Multi-Task Reinforcement Learning with Context-based Representations

Shagun Sodhani, Amy Zhang+1 more|arXiv (Cornell University)|Feb 11, 2021

Reinforcement Learning in Robotics参考文献 59被引用 20

一句话总结

本文提出 CARE（基于上下文注意机制的表征学习），一种多任务强化学习框架，通过利用任务元数据（如自然语言描述）作为上下文，学习可组合、可解释的表征，适用于一系列任务。通过根据上下文条件化表征选择，CARE 减少了负面干扰，并在 Meta-World（一个具有挑战性的 50 任务机器人操控基准）上实现了最先进性能。

ABSTRACT

The benefit of multi-task learning over single-task learning relies on the ability to use relations across tasks to improve performance on any single task. While sharing representations is an important mechanism to share information across tasks, its success depends on how well the structure underlying the tasks is captured. In some real-world situations, we have access to metadata, or additional information about a task, that may not provide any new insight in the context of a single task setup alone but inform relations across multiple tasks. While this metadata can be useful for improving multi-task learning performance, effectively incorporating it can be an additional challenge. We posit that an efficient approach to knowledge transfer is through the use of multiple context-dependent, composable representations shared across a family of tasks. In this framework, metadata can help to learn interpretable representations and provide the context to inform which representations to compose and how to compose them. We use the proposed approach to obtain state-of-the-art results in Meta-World, a challenging multi-task benchmark consisting of 50 distinct robotic manipulation tasks.

研究动机与目标

• 为解决多任务强化学习中的负面干扰问题，实现细粒度、上下文依赖的知识迁移。
• 利用任务元数据（如自然语言描述）作为上下文信号，指导表征学习与策略组合。
• 开发一种方法，学习可解释的、任务特定的表征，可根据上下文动态组合，以提升泛化能力。
• 在复杂的真实世界多任务环境（如 Meta-World）中，提升样本效率和渐近性能。

提出的方法

• 该方法提出一种块上下文 MDP（BC-MDP）框架，通过引入如自然语言描述等特定任务上下文，扩展标准 MDP。
• 采用任务特定与对象特定编码器的混合结构，学习状态空间的多种解耦表征。
• 一种上下文感知的注意力机制根据给定的任务上下文选择并组合相关表征，实现动态策略组合。
• 策略网络利用所选表征生成动作，使智能体能够根据任务上下文自适应调整行为。
• 该框架使用离策略深度强化学习算法进行端到端训练，上下文用于条件化表征选择。
• 该方法支持高层级、非结构化或信息不完整的元数据，增强了在真实世界应用中的灵活性。

实验结果

研究问题

• RQ1 能否有效利用任务元数据来指导多任务强化学习中共享表征的选择与组合？
• RQ2 上下文感知的表征学习在跨多样化任务迁移知识时，如何减少负面干扰？
• RQ3 可解释的、任务特定的编码器混合结构能否提升复杂多任务基准中的样本效率和最终性能？
• RQ4 基于上下文的表征选择在状态空间和目标各异的任务之间，其泛化能力在多大程度上成立？

主要发现

• CARE 在 Meta-World 基准上实现了最先进性能，其样本效率和最终任务成功率均优于先前方法。
• 使用上下文（如自然语言描述）显著提升了泛化能力，并减少了多任务学习中的负面干扰。
• 所学习的表征具有可解释性，各编码器分别专注于物体类型或技能组件等不同方面。
• 通过仅关注相关子空间，该方法在不同状态空间的任务间实现泛化，即使在部分可观测性设置下也能实现有效迁移。
• 消融实验确认，上下文感知的表征选择对性能至关重要，当忽略上下文或未有效使用时，性能会显著下降。