[论文解读] TabMCQ: A Dataset of General Knowledge Tables and Multiple-choice Questions

Sunil Kumar Jauhar, Peter D. Turney+1 more|arXiv (Cornell University)|Feb 12, 2016

Topic Modeling参考文献 13被引用 13

一句话总结

本文介绍了TabMCQ，一个大规模数据集，包含从精心筛选的一般知识表格中提取的9,091道多选题（MCQs），以及问题与表格单元格之间的显式对齐信息。作者通过Mechanical Turk进行众包，施加结构化约束以确保高质量、一致的MCQs，并大规模收集对齐信息，从而支持问答、信息抽取和语义建模等应用。

ABSTRACT

We describe two new related resources that facilitate modelling of general knowledge reasoning in 4th grade science exams. The first is a collection of curated facts in the form of tables, and the second is a large set of crowd-sourced multiple-choice questions covering the facts in the tables. Through the setup of the crowd-sourced annotation task we obtain implicit alignment information between questions and tables. We envisage that the resources will be useful not only to researchers working on question answering, but also to people investigating a diverse range of other applications such as information extraction, question parsing, answer type identification, and lexical semantic modelling.

研究动机与目标

• 创建一个大规模、高质量的多选题数据集，其内容基于半结构化的通用知识表格，覆盖小学四年级科学内容。
• 开发一个可扩展的众包流水线，对MCQ施加结构化约束，以提高一致性和质量。
• 在几乎不增加标注成本的前提下，收集问题与特定表格单元格之间的隐式对齐信息。
• 提供一个支持多种NLP任务的资源，而不仅限于问答，包括问题解析、答案类型识别和词汇语义分析。
• 通过结构化背景知识，支持神经网络和基于特征的模型在开放域问答任务中的训练与评估。

提出的方法

• 整理一组半结构化表格，其中包含以定义列头和重复列模式呈现的一般知识事实。
• 在Mechanical Turk上设计众包任务，标注者基于单个表格行生成MCQ，且必须使用同一行中的内容作为目标单元格。
• 对MCQ施加结构化约束（例如，正确答案必须是单元格中的值，干扰项必须合理但错误），以提升质量和一致性。
• 利用表格结构隐式对齐问题与特定表格单元格、行和列，无需显式标注这些关联。
• 应用自动化合理性检查（例如，最少3个选项，无重复选项）以过滤低质量提交。
• 清洗并清理最终数据集，移除损坏或格式错误的条目，最终得到包含完整对齐元数据的9,091道MCQ。

实验结果

研究问题

• RQ1 在MCQ上施加结构化约束的众包设置，是否能在大规模上生成高质量、与特定表格单元格对齐的一致性问题？
• RQ2 仅通过任务的结构化约束，不进行显式标注，能否有效收集问题与表格单元格之间的隐式对齐信息？
• RQ3 半结构化表格作为背景知识，在训练问答系统方面有多大的有效性？
• RQ4 表格、MCQ和对齐信息的组合能否支持多种NLP任务，如信息抽取、答案类型识别和词汇语义建模？
• RQ5 与现有基准相比，使用该数据集对神经网络和基于特征的问答模型性能有何影响？

主要发现

• 作者最终收集了9,091道MCQ，其规模远超现有任何用于研究的科学考试MCQ集合，达到数量级的差异。
• 众包流水线质量很高，初始合理性检查中仅有0.7%的提交任务（HITs）被拒绝，另有160道MCQ在后期清理中丢失。
• 标注者平均每70秒完成一道MCQ，表明该任务高效且可扩展。
• 对较小版本数据集（77道题）的初步实验表明，使用结构化和文本特征的逻辑线性模型，其性能可与内部Aristo挑战求解器相媲美。
• 该数据集包含问题与特定表格单元格、行和列之间的显式对齐信息，这对NLP任务而言极为稀有且宝贵。
• 该数据集已公开发布于 http://allenai.org/content/data/TabMCQ_v_1.0.zip，支持在多个NLP研究领域广泛复用。