[论文解读] Zero-shot Task Adaptation using Natural Language

Prasoon Goyal, Raymond J. Mooney+1 more|arXiv (Cornell University)|Jun 5, 2021

Multimodal Machine Learning Applications参考文献 39被引用 5

一句话总结

该论文提出语言辅助奖励与价值适配（LARVA），一种零样本框架，使智能体能够通过相关源任务的示范和任务差异的自然语言描述来执行新任务。通过将问题分解为目标目标预测与奖励/价值函数适配，LARVA 在基于模板的自然语言下实现超过 95% 的成功率，在自由形式自然语言下实现超过 70% 的成功率。

ABSTRACT

Imitation learning and instruction-following are two common approaches to communicate a user's intent to a learning agent. However, as the complexity of tasks grows, it could be beneficial to use both demonstrations and language to communicate with an agent. In this work, we propose a novel setting where an agent is given both a demonstration and a description, and must combine information from both the modalities. Specifically, given a demonstration for a task (the source task), and a natural language description of the differences between the demonstrated task and a related but different task (the target task), our goal is to train an agent to complete the target task in a zero-shot setting, that is, without any demonstrations for the target task. To this end, we introduce Language-Aided Reward and Value Adaptation (LARVA) which, given a source demonstration and a linguistic description of how the target task differs, learns to output a reward / value function that accurately describes the target task. Our experiments show that on a diverse set of adaptations, our approach is able to complete more than 95% of target tasks when using template-based descriptions, and more than 70% when using free-form natural language.

研究动机与目标

• 在无需新任务示范的情况下，使智能体通过结合源任务示范和任务差异的自然语言描述，实现零样本任务适配。
• 通过统一两种模态，解决模仿学习（每项任务都需要示范）和指令遵循（难以处理复杂任务细节）的局限性。
• 开发一种可扩展的、数据驱动的模型，实现跨多样化任务适配的泛化，且无需手工设计特征。
• 评估模型从训练数据中组合新概念的能力，例如将 'blue' 和 'cylinder' 分别学习后组合成 'blue cylinder'。
• 证明将学习问题分解为目标预测与奖励/价值适配，可提升性能并支持中间监督。

提出的方法

• LARVA 接收源任务示范、任务差异的自然语言描述，以及目标任务的奖励函数或价值函数作为输入。
• 该模型将任务分解为两个子问题：预测目标任务的最终状态，以及预测对应的奖励或价值函数。
• 使用神经网络对源任务示范和自然语言描述进行编码，并通过交叉注意力机制将语言概念与示范中的物体和动作对齐。
• 通过在联合训练奖励/价值头之前独立训练目标预测头，实现中间监督。
• 为实现泛化，模型在分布外概念（如 'blue cylinder'）上进行评估，以测试其组合泛化能力。
• 该架构在具有离散动作和状态的合成环境中端到端训练，将低层控制抽象化，专注于高层规划。

实验结果

研究问题

• RQ1 当仅提供源任务示范和任务差异的自然语言描述时，智能体是否能在零样本设置下成功执行目标任务？
• RQ2 结合示范与语言相较于单独使用任一模态，能否显著提升性能？
• RQ3 模型在未在训练中见过的对象与动作组合（如新组合）上，泛化能力如何？
• RQ4 将学习问题分解为目标预测与奖励/价值适配，是否能带来更好的性能和训练稳定性？
• RQ5 基于模板的自然语言与自由形式自然语言描述在性能上是否存在差异？

主要发现

• 在使用基于模板的自然语言描述任务差异时，LARVA 在完成目标任务上的成功率超过 95%。
• 在使用自由形式自然语言时，模型成功完成超过 70% 的目标任务，表明其对自然语言变化具有鲁棒性。
• 消融实验表明，仅使用示范或仅使用语言均导致性能显著下降，凸显多模态融合的必要性。
• 当未将问题分解为目标预测与价值预测时，模型性能显著下降，证实了两阶段设计的重要性。
• 模型能泛化到训练中未出现的物体-动作组合（如 'blue cylinder'），表明具备组合泛化能力。
• 尽管性能表现强劲，但基于模板与自由形式语言之间仍存在显著差距，提示在语言建模和数据过滤方面仍有改进空间。