[论文解读] ReaSCAN: Compositional Reasoning in Language Grounding

Zhengxuan Wu, Elisa Kreiss+2 more|arXiv (Cornell University)|Sep 18, 2021

Topic Modeling被引用 5

一句话总结

本文提出了 ReaSCAN，一个合成基准数据集，通过扩展 gSCAN 来严格评估具身语言理解中的组合泛化能力。通过引入复杂干扰项并要求对实体和关系进行精确推理，ReaSCAN 显著提升了难度，验证了其在探测神经模型在导航任务中组合推理能力方面的有效性。

ABSTRACT

The ability to compositionally map language to referents, relations, and actions is an essential component of language understanding. The recent gSCAN dataset (Ruis et al. 2020, NeurIPS) is an inspiring attempt to assess the capacity of models to learn this kind of grounding in scenarios involving navigational instructions. However, we show that gSCAN's highly constrained design means that it does not require compositional interpretation and that many details of its instructions and scenarios are not required for task success. To address these limitations, we propose ReaSCAN, a benchmark dataset that builds off gSCAN but requires compositional language interpretation and reasoning about entities and relations. We assess two models on ReaSCAN: a multi-modal baseline and a state-of-the-art graph convolutional neural model. These experiments show that ReaSCAN is substantially harder than gSCAN for both neural architectures. This suggests that ReaSCAN can serve as a valuable benchmark for advancing our understanding of models' compositional generalization and reasoning capabilities.

研究动机与目标

• 为解决 gSCAN 的局限性，后者由于指令设计过于受限且存在无关干扰项，无法真正要求组合式解释。
• 开发一个强制模型在具身视觉环境中进行组合语言解释和实体关系推理的基准。
• 创建一个可控的、算法生成的数据集，以实现对模型失败模式和泛化能力的细粒度诊断。
• 评估最先进模型在比 gSCAN 更复杂、更真实的场景中是否能实现组合泛化。
• 提供一个可复用的框架，用于设计未来专注于组合式、具身语言理解的基准。

提出的方法

• ReaSCAN 通过算法生成，可精确控制任务难度和组合性，从而实现对模型行为的系统性评估。
• 该数据集引入了复杂的干扰项采样策略，以增加对语言和空间推理准确性的需求。
• 网格世界被设计为确保所有指令中的修饰语在语义上均相关，防止无关细节导致性能虚高。
• 该基准采用指代物选择任务，要求模型根据包含空间和关系属性的自然语言指令识别正确对象。
• 评估了两种模型：一个多模态基线模型和一个图卷积神经网络（GCN）模型，两者均在 ReaSCAN 上进行训练和测试，并与 gSCAN 进行对比。
• 通过基于干扰项的错误追踪方法进行失败分析，以识别错误是否源于对修饰语、关系或指代物的误解。

实验结果

研究问题

• RQ1 与允许非组合式解法的 gSCAN 相比，ReaSCAN 在多大程度上强制执行了组合式解释？
• RQ2 最先进模型在 ReaSCAN 上的表现与在 gSCAN 上相比如何，且复杂度的提升是否导致显著的性能下降？
• RQ3 当组合推理失败时，复杂的干扰项采样策略是否能有效降低模型性能？
• RQ4 在指令中引入关系和空间修饰语是否能更有效地评估组合泛化能力？
• RQ5 该数据集能否用于诊断神经模型中的特定失败模式，例如对修饰语或关系的误解？

主要发现

• 对于多模态基线模型和图卷积神经网络模型，ReaSCAN 的难度均显著高于 gSCAN，且观察到明显的性能下降。
• 在 ReaSCAN 上的性能下降表明，仅在 gSCAN 上训练的模型无法在更复杂、更真实的场景中实现组合泛化。
• 干扰项采样策略能有效提升任务难度，并可精确定位与修饰语或关系误解相关的失败模式。
• 数据集设计确保了指令中所有语言成分对正确指代物识别都是必要的，从而强制执行真正的组合式推理。
• 结果验证了 ReaSCAN 作为评估具身语言理解任务中组合泛化能力的稳健基准的有效性。
• 该数据集以知识共享署名 4.0 国际许可协议公开发布，GitHub 上提供版本化发布，便于未来更新和社区贡献。