[论文解读] Question Answering is a Format; When is it Useful?

Matt Gardner, Jonathan Berant+3 more|arXiv (Cornell University)|Sep 25, 2019

Multimodal Machine Learning Applications参考文献 38被引用 21

一句话总结

本文主张将问答（QA）视为一种灵活的格式，而非自然语言处理（NLP）中的独立任务。它提出，当问题理解至关重要——即问题无法被简单标识符替代时——QA才最具价值，并提出了三个关键应用场景：满足人类信息需求、为复杂任务提供灵活的标注方式，以及通过共享架构实现模型迁移。其核心贡献在于将QA重新定义为一种格式，以减少概念混淆，并指导更优的数据集设计。

ABSTRACT

Recent years have seen a dramatic expansion of tasks and datasets posed as question answering, from reading comprehension, semantic role labeling, and even machine translation, to image and video understanding. With this expansion, there are many differing views on the utility and definition of "question answering" itself. Some argue that its scope should be narrow, or broad, or that it is overused in datasets today. In this opinion piece, we argue that question answering should be considered a format which is sometimes useful for studying particular phenomena, not a phenomenon or task in itself. We discuss when a task is correctly described as question answering, and when a task is usefully posed as question answering, instead of using some other format.

研究动机与目标

• 澄清自然语言处理与计算机视觉领域中关于‘问答’构成的混淆概念。
• 论证应将QA视为一种格式而非任务，以避免在数据集中过度使用与误分类。
• 识别出具体且合理的应用场景，即在何种情况下将任务表述为QA能提升研究成效。
• 指导研究者在缺乏形式化规范时，为新数据集选择合适的格式。
• 通过强调格式的适用性，减少冗余或缺乏充分依据的QA数据集的泛滥。

提出的方法

• 提出一个框架，以区分在何种情况下QA作为格式具有实际价值，关键在于问题理解的必要性。
• 将任务分类为需要非平凡问题理解（此时QA适用）与问题可被ID替代（此时QA非必需）的两类。
• 分析现有数据集与任务，判断QA格式是否提升了标注灵活性、模型迁移能力或与人类意图的一致性。
• 突出QA格式通过问题模板引入归纳偏置的案例，例如将‘where’映射到位置，或将‘what’映射到实体。
• 评估基于QA的迁移学习在关系抽取与实体追踪任务中的表现，发现QA模板可在无需预训练的情况下提升模型性能。
• 将基于QA的多任务学习与标准共享表示方法进行比较，结果表明当任务差异较大时，其表现有限。

实验结果

研究问题

• RQ1 在何种情况下，问答是一种对特定NLP任务有用的格式，而非任务本身？
• RQ2 什么特征能区分真正需要问题理解的任务与仅将问题作为占位符的任务？
• RQ3 在哪些场景下，将非QA任务表述为QA能提升模型性能或标注效率？
• RQ4 QA格式如何支持在多样化NLP任务间的迁移学习？
• RQ5 为何QA作为格式的广泛使用，导致了NLP研究中的概念与方法论混淆？

主要发现

• 应将QA视为一种格式而非任务，以避免概念上的过度延伸，并提升数据集设计的清晰度。
• 当问题理解具有非平凡性——即无法用整数ID替代问题而不改变任务本质时——QA最具价值。
• QA对阅读理解与常识推理等任务有益，因为自然语言问题可作为灵活且与人类对齐的模型理解探测工具。
• 在某些情况下，QA模板可提供有用的归纳偏置，例如将‘where’映射到空间位置，从而提升关系抽取等任务的性能。
• 通过QA格式实现的迁移学习仅在源任务与目标任务高度相似时才有效，如关系抽取与实体追踪实验所示。
• 当将多样化任务以QA形式呈现时，多任务学习通常表现不如采用任务特定头的共享表示方法，表明QA格式在广泛迁移中的可扩展性有限。