[论文解读] WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference

Peter Jansen, Elizabeth Wainwright+2 more|arXiv (Cornell University)|Feb 8, 2018

Topic Modeling被引用 32

一句话总结

本文介绍了WorldTree，一个包含1,680道小学科学问题的解释图大规模语料库，通过句子间的词汇重叠来表示详细、多跳推理过程。同时，本文还提供了一个包含4,950行的结构化解释中心表格存储库，支持可解释推理模型的训练。主要贡献在于构建了一个可扩展的开源资源，支持多跳推理，并基于知识重叠和表格存储库的增长，估算未来模型的语料库规模需求。

ABSTRACT

Developing methods of automated inference that are able to provide users with compelling human-readable justifications for why the answer to a question is correct is critical for domains such as science and medicine, where user trust and detecting costly errors are limiting factors to adoption. One of the central barriers to training question answering models on explainable inference tasks is the lack of gold explanations to serve as training data. In this paper we present a corpus of explanations for standardized science exams, a recent challenge task for question answering. We manually construct a corpus of detailed explanations for nearly all publicly available standardized elementary science question (approximately 1,680 3rd through 5th grade questions) and represent these as "explanation graphs" -- sets of lexically overlapping sentences that describe how to arrive at the correct answer to a question through a combination of domain and world knowledge. We also provide an explanation-centered tablestore, a collection of semi-structured tables that contain the knowledge to construct these elementary science explanations. Together, these two knowledge resources map out a substantial portion of the knowledge required for answering and explaining elementary science exams, and provide both structured and free-text training data for the explainable inference task.

研究动机与目标

• 为解决科学领域中可解释问答模型训练缺乏标准答案解释的问题。
• 开发一个结构化、可扩展的解释图语料库，通过句子间的词汇重叠来建模多跳推理。
• 创建一个以解释为中心的表格存储库，包含用于构建解释的半结构化知识，适用于非空间、非数学的小学科学问题。
• 通过分析知识频率、解释重叠和表格存储库增长，估算未来推理模型所需语料库的规模。
• 支持训练可生成人类可读解释的可解释推理系统，从而提升科学与医学领域中模型的信任度和泛化能力。

提出的方法

• 手动构建1,680道标准化小学科学问题的解释图，将推理表示为相互连接、词汇重叠的句子。
• 将解释表示为带有显式语义连接的自由文本序列，支持多跳推理建模。
• 创建一个包含62张表、4,950行的以解释为中心的表格存储库，包含用于构建解释的领域知识和世界知识。
• 使用蒙特卡洛模拟来建模语料库规模、解释重叠与表格存储库增长之间的关系。
• 分析知识频率和重叠模式，估算满足不同重叠需求的推理模型所需最小语料库规模。
• 使用比例衰减函数建模表格存储库的增长，表明在约10,000道问题时，表格存储库将趋于约6,000行的渐近收敛。

实验结果

研究问题

• RQ1 训练一个能够泛化于小学科学问题的可解释推理模型，所需的最小语料库规模是多少？
• RQ2 随着语料库规模的增加，问题之间的解释重叠如何变化，这对数据效率有何启示？
• RQ3 解释所有非空间、非数学的小学科学问题所需的知识库（表格存储库）的渐近规模是多少？
• RQ4 解释中共享知识行数的多少如何影响多跳推理模型训练的可行性？
• RQ5 知识频率和重叠的可预测模式能否用于估算新领域中的数据需求？

主要发现

• 该语料库包含1,680道小学科学问题，均附有解释图，平均每张图由6个句子组成，通过词汇重叠实现多跳推理。
• 解释重叠随语料库规模的增加呈对数增长，表明对于仅需1个共享行的模型，约500个问题可能已足够；而对于需要3个或以上共享行的模型，则可能需要约20,000个问题。
• 解释表格存储库按比例衰减函数增长，在10,000道问题后趋于约6,000个唯一行的渐近值，表明该领域核心知识存在有限的上界。
• 语料库规模与解释重叠之间的关系具有强烈的对数性，仅在标注少量（数百个）问题后即可估算数据需求。
• 表格存储库与解释图共同提供了结构化和自由文本的训练数据，支持基于检索和生成的可解释推理模型。
• 该语料库及工具已公开发布于 http://www.cognitiveai.org/explanationbank，支持可复现的研究与可解释人工智能模型的开发。