[论文解读] Think before you act: A simple baseline for compositional generalization

Christina Heinze‐Deml, Diane Bouchacourt|arXiv (Cornell University)|Sep 29, 2020

Rough Sets and Fuzzy Logic参考文献 18被引用 9

一句话总结

本文提出一种简单的“思考后再行动”方法，通过将目标物体识别与动作执行解耦，提升了视觉语言导航中的组合泛化能力。通过引入一个辅助损失以在生成动作前预测目标物体，该模型在两个gSCAN数据集划分（黄色方块和红色方块）上达到了当前最优性能，表明对目标的显式推理可提升泛化能力——尽管在基于相对关系的任务中仍存在挑战。

ABSTRACT

Contrarily to humans who have the ability to recombine familiar expressions to create novel ones, modern neural networks struggle to do so. This has been emphasized recently with the introduction of the benchmark dataset "gSCAN" (Ruis et al. 2020), aiming to evaluate models' performance at compositional generalization in grounded language understanding. In this work, we challenge the gSCAN benchmark by proposing a simple model that achieves surprisingly good performance on two of the gSCAN test splits. Our model is based on the observation that, to succeed on gSCAN tasks, the agent must (i) identify the target object (think) before (ii) navigating to it successfully (act). Concretely, we propose an attention-inspired modification of the baseline model from (Ruis et al. 2020), together with an auxiliary loss, that takes into account the sequential nature of steps (i) and (ii). While two compositional tasks are trivially solved with our approach, we also find that the other tasks remain unsolved, validating the relevance of gSCAN as a benchmark for evaluating models' compositional abilities.

研究动机与目标

• 解决视觉语言模型中的组合泛化挑战，即模型在新颖组合下无法重新组合已知的语言与视觉成分。
• 探究是否通过显式建模“思考”阶段——即在执行动作前识别目标物体——可提升在具身语言理解基准上的泛化能力。
• 评估一种简单、模块化的序列到序列模型修改方法的有效性，该方法通过引入辅助目标预测头实现顺序推理。
• 确定该方法是否能超越简单的属性组合，推广到更复杂的相对关系推理任务，如相对大小感知。

提出的方法

• 通过引入两阶段流程对Ruis等人（2020）的基线序列到序列模型进行修改：首先预测目标物体的位置，然后生成导航动作。
• 引入一个辅助损失，利用相同的视觉和语言输入，训练模型预测目标物体在网格世界中的位置。
• 使用注意力机制，使目标预测头能够关注相关的视觉特征和语言标记，实现在动作生成前的结构化推理。
• 使用联合损失端到端训练模型：标准序列到序列损失用于动作生成，辅助损失用于目标定位。
• 将目标预测头的log-softmax得分应用于加权视觉特征表示（H_s），在动作解码过程中增强对相关世界状态的关注。
• 评估消融变体，包括移除目标预测得分对世界编码的加权，以隔离“思考后再行动”机制的贡献。

实验结果

研究问题

• RQ1 一种简单、模块化的修改，强制执行“思考后再行动”序列，是否能提升具身语言理解中的组合泛化能力？
• RQ2 对目标物体预测进行辅助训练是否能在gSCAN测试划分上带来可测量的零样本泛化性能提升？
• RQ3 与基线模型相比，该方法在需要新颖组合已知属性（如新颜色或大小描述）的任务上，性能提升程度如何？
• RQ4 “思考后再行动”方法是否能推广到需要关系推理的任务，如相对大小感知（例如，在较大圆圈背景下描述“小”圆圈）？
• RQ5 辅助目标预测头是否减少了由解码问题引发的误差传播，还是性能差距源于根本性的推理失败？

主要发现

• 引入辅助损失的模型（'Baseline w/ aux'）在黄色方块（B）和红色方块（C）划分上的平均性能显著更高，且方差更低，优于基线模型。
• 在黄色方块划分上，模型实现了近乎完美的目标预测准确率和精确匹配性能，优于基线模型和GECA模型。
• 在红色方块划分上，'world'和'both'变体优于基线模型，并达到与GECA相当的性能，尽管GECA通过世界重建获得了更多监督信号。
• 在相对性（E）划分上的性能仍然较低，精确匹配准确率最高仅为50%，表明对相对属性的关系推理仍是重大挑战。
• 错误分析显示，目标预测准确率与精确匹配性能之间存在强烈相关性，表明解码错误并非性能差距的主要原因。
• 消融研究证实，通过目标预测得分对视觉特征进行加权至关重要：即使目标预测准确率保持较高，移除该机制也会显著降低精确匹配准确率。