[论文解读] PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales

Jiajie Zou, Yuran Zhang+4 more|arXiv (Cornell University)|Jun 23, 2021

Topic Modeling参考文献 9被引用 5

一句话总结

PALRACE 引入了一个基于 RACE 语料库构建的阅读理解数据集，包含 800 篇文章，针对 6 种问题类型标注了人类提供的推理过程。结果表明，RoBERTa-large 等模型在所有问题类型上的表现均优于人类，但当提供人类推理过程时，模型性能显著提升，尤其在简单模型和未微调模型中提升更为明显，某些情况下性能提升超过 30%。

ABSTRACT

Pre-trained language models achieves high performance on machine reading comprehension (MRC) tasks but the results are hard to explain. An appealing approach to make models explainable is to provide rationales for its decision. To investigate whether human rationales can further improve current models and to facilitate supervised learning of human rationales, here we present PALRACE (Pruned And Labeled RACE), a new MRC dataset with human labeled rationales for 800 passages selected from the RACE dataset. We further classified the question to each passage into 6 types. Each passage was read by at least 26 human readers, who labeled their rationales to answer the question. It is demonstrated that models such as RoBERTa-large outperforms human readers in all 6 types of questions, including inference questions, but its performance can be further improved when having access to the human rationales. Simpler models and pre-trained models that are not fine-tuned based on the task benefit more from human rationales, and their performance can be boosted by more than 30% by rationales. With access to human rationales, a simple model based on the GloVe word embedding can reach the performance of BERT-base.

研究动机与目标

• 创建一个带有人类标注推理过程的阅读理解数据集，以提升模型的可解释性。
• 探究人类推理过程是否能够使预训练语言模型的性能超越其当前的最先进水平。
• 探讨推理过程对不同类型阅读理解问题（包括推理题和事实题）的影响。
• 评估推理过程对强模型与简单模型（包括未进行任务特定微调的模型）的有效性。
• 为机器阅读理解中人类推理过程的监督学习提供基准。

提出的方法

• 从 RACE 数据集中选取 800 篇文章，涵盖多样的阅读水平和内容主题。
• 为每个问答对收集人类标注的推理过程，每篇文章至少有 26 名人类标注者参与。
• 根据推理复杂度和所需理解深度，对 6 种问题类型进行分类。
• 训练 RoBERTa-large 及其他模型，对比其在有无人类推理过程情况下的性能表现。
• 使用基于 GloVe 的简单模型，评估推理过程对低资源或未微调模型的影响。
• 在全部 6 种问题类型上评估模型性能，测量准确率及推理过程引入带来的性能增益。

实验结果

研究问题

• RQ1 人类标注的推理过程能否提升预训练语言模型在阅读理解任务上的性能？
• RQ2 当模型本身更简单或未针对任务进行微调时，是否从推理过程中获益更多？
• RQ3 推理过程的引入如何影响不同类型阅读理解问题的性能表现？
• RQ4 当提供人类推理过程时，一个未微调的基于 GloVe 的模型能否达到 BERT-base 的性能水平？
• RQ5 当人类读者与最先进模型均能访问相同推理过程时，是否存在可测量的性能差距？

主要发现

• RoBERTa-large 在全部 6 种问题类型上（包括复杂的推理题）的表现均优于人类读者。
• 未微调或更简单的模型（如基于 GloVe 的模型）在引入人类推理过程后，性能提升超过 30%。
• 仅使用 GloVe 嵌入的简单模型，在获得人类标注推理过程后，其性能可与 BERT-base 相当。
• 在全部 6 种问题类型中，人类推理过程的一致引入均能提升模型性能，且在未微调模型中提升最为显著。
• 即使在高性能模型如 RoBERTa-large 中，提供人类推理过程后仍能观察到可测量的性能提升，表明推理过程有助于提升模型推理的精确性。