[论文解读] Unification-based Reconstruction of Explanations for Science Questions.

Marco Valentino, Mokanarangan Thayaparan+1 more|arXiv (Cornell University)|Mar 31, 2020

Topic Modeling被引用 4

一句话总结

该论文提出了一种基于统一的框架，通过结合相关性得分与统一得分来对解释性事实进行排序，从而重构科学问题的解释。该方法在Worldtree语料库上实现了最先进性能，在具有挑战性的多选题上将BERT的准确率最高提升了15.69%，同时保持了对大规模知识库的可扩展性。

ABSTRACT

The paper presents a framework to reconstruct explanations for multiple choices science questions through explanation-centred corpora. Building upon the notion of unification in science, the framework ranks explanatory facts with respect to question and candidate answer by leveraging a combination of two different scores: (a) A Relevance Score (RS) that represents the extent to which a given fact is specific to the question; (b) A Unification Score (US) that takes into account the explanatory power of a fact, determined according to its frequency in explanations for similar questions. An extensive evaluation of the framework is performed on the Worldtree corpus, adopting IR weighting schemes for its implementation. The following findings are presented: (1) The proposed approach achieves competitive results when compared to state-of-the-art Transformers, yet possessing the property of being scalable to large explanatory knowledge bases; (2) The combined model significantly outperforms IR baselines (+7.8/8.4 MAP), confirming the complementary aspects of relevance and unification score; (3) The constructed explanations can support downstream models for answer prediction, improving the accuracy of BERT for multiple choices QA on both ARC easy (+6.92%) and challenge (+15.69%) questions.

研究动机与目标

• 开发一种可扩展的方法，利用解释性知识库重构科学问题的解释。
• 解决在多选题科学问答中结合事实相关性与解释能力的挑战。
• 通过将重构的解释整合到神经网络模型中，提升下游答案预测性能。
• 使用IR加权方案在大规模以解释为中心的语料库（Worldtree）上评估该框架。

提出的方法

• 该框架使用相关性得分（RS）来衡量某一事实与问题及候选答案的特定相关性。
• 基于该事实在类似问题解释中的出现频率，计算统一得分（US），以捕捉其解释能力。
• 将两个得分结合以对解释性事实进行排序，得分越高表示解释相关性越强。
• 通过使用IR加权方案实现模型的高效计算与可扩展性。
• 在Worldtree语料库上对框架进行评估，以MAP作为主要性能比较指标。

实验结果

研究问题

• RQ1 基于统一的方法是否能有效利用解释语料库重构科学问题的解释？
• RQ2 相关性得分与统一得分在识别高质量解释性事实方面如何互补？
• RQ3 重构的解释在多选题科学问答中能在多大程度上提升答案预测性能？
• RQ4 在准确率与可扩展性方面，该框架与最先进Transformer模型相比表现如何？

主要发现

• 该框架在保持对大规模解释性知识库可扩展性的同时，性能与最先进Transformer模型相当。
• 联合模型相比IR基线模型在MAP上分别提升了+7.8/8.4，证实了相关性与统一得分的互补价值。
• 重构的解释使BERT在ARC简单题上的准确率提升6.92%，在挑战题上提升15.69%。
• 统一得分通过类似问题解释中的频率模式，有效捕捉了解释能力。