[论文解读] Systematic Generalization on gSCAN with Language Conditioned Embedding

Tong Gao, Qi Huang+1 more|arXiv (Cornell University)|Sep 11, 2020

Multimodal Machine Learning Applications参考文献 22被引用 4

一句话总结

本文提出一种语言条件的消息传递机制，用于在具身语言理解中学习上下文相关的物体表征，以实现系统性泛化。通过根据输入的自然语言动态聚合对象之间的关系信息，该模型在 gSCAN 上取得了最先进性能，显著优于先前方法，尤其在需要组合新动作-属性组合的多个测试划分上表现突出。

ABSTRACT

Systematic Generalization refers to a learning algorithm's ability to extrapolate learned behavior to unseen situations that are distinct but semantically similar to its training data. As shown in recent work, state-of-the-art deep learning models fail dramatically even on tasks for which they are designed when the test set is systematically different from the training data. We hypothesize that explicitly modeling the relations between objects in their contexts while learning their representations will help achieve systematic generalization. Therefore, we propose a novel method that learns objects' contextualized embeddings with dynamic message passing conditioned on the input natural language and end-to-end trainable with other downstream deep learning modules. To our knowledge, this model is the first one that significantly outperforms the provided baseline and reaches state-of-the-art performance on grounded-SCAN (gSCAN), a grounded natural language navigation dataset designed to require systematic generalization in its test splits.

研究动机与目标

• 为解决深度学习模型在系统性泛化方面的失败，特别是针对需要组合新概念组合的任务。
• 通过显式建模上下文中对象之间的关系，改进物体表征学习，且基于自然语言输入进行具身化。
• 开发一种端到端可训练的架构，以增强在具身导航任务中对未见语义组合的零样本泛化能力。
• 在 gSCAN 上评估该方法，该基准旨在通过测试集中系统性分布偏移来检验系统性泛化能力。

提出的方法

• 模型在网格世界中所有对象对之间使用动态消息传递，以聚合关系信息。
• 消息传递权重由输入的自然语言句子决定，从而实现上下文感知的对象特征聚合。
• 每个对象的上下文相关表征通过来自所有其他对象的消息的加权和计算得出，权重由输入句子决定。
• 该方法被整合到端到端训练流程中，并结合下游动作序列解码器用于导航。
• 模型将智能体和所有对象视为消息传递图中的同质节点，在消息传递过程中不区分边的类型。
• 消融研究通过移除语言条件消息传递并比较性能，评估其贡献。

实验结果

研究问题

• RQ1 语言条件的消息传递能否提升视觉-语言导航任务中的系统性泛化能力？
• RQ2 基于关系结构和输入语言学习上下文相关的物体表征，是否能带来对新动作-属性对的更好零样本组合能力？
• RQ3 在 gSCAN 上，该方法与强基线相比表现如何，特别是在设计用于探测系统性泛化的测试划分上？
• RQ4 尽管在其他划分上有所改进，为何该模型在某些测试划分（如划分 B）仍会失败？

主要发现

• 所提模型在 gSCAN 上实现了最先进性能，在多个测试划分上显著优于基线，包括划分 G（精确匹配率 93.02%）和划分 E（精确匹配率 99.08%）。
• 消融研究证实，语言条件消息传递在大多数划分上提升了性能，尽管在划分 F 上略有下降，表明在学习副词语义与动作语义之间存在权衡。
• 在划分 B 上的失败归因于模型无法将动作序列泛化到新方向，因为它盲目生成动作而未建模智能体状态的变化。
• 模型通过注意力机制正确识别了目标位置，但未能生成有效路径，表明在导航过程中缺乏对动态状态的建模。
• 结果表明，当前模型在视角转换和状态转移建模方面仍存在困难，尤其当动作涉及不熟悉方向时。
• 作者指出，需要采用基于模型的强化学习或类型特定的消息传递，以更好地捕捉环境动力学和智能体-环境交互。