[论文解读] Scalable Educational Question Generation with Pre-trained Language Models

Sahan Bulathwela, Hamze Muse+1 more|arXiv (Cornell University)|May 13, 2023

Topic Modeling被引用 4

一句话总结

本文提出EduQG，一种可扩展的教育问答生成模型，通过在科学文本上进一步预训练大规模语言模型，并在科学问答数据集上微调，从而提升问题质量。该方法显著优于SOTA基线模型，表明领域特定的预训练与微调能有效提升AI生成问题的语言流畅性与教育相关性。

ABSTRACT

The automatic generation of educational questions will play a key role in scaling online education, enabling self-assessment at scale when a global population is manoeuvring their personalised learning journeys. We develop extit{EduQG}, a novel educational question generation model built by adapting a large language model. Our extensive experiments demonstrate that extit{EduQG} can produce superior educational questions by further pre-training and fine-tuning a pre-trained language model on the scientific text and science question data.

研究动机与目标

• 解决开放教育资源和MOOC中可扩展、高质量教育问答的缺乏问题。
• 通过将预训练语言模型适配至科学与教育领域，提升AI生成教育问答的质量。
• 探究在科学语料上预训练及在问答数据集上微调对教育问答生成的影响。
• 证明领域特定的预训练语言模型微调可实现计算成本低、接近人类水平的、语言上有效的问答生成。
• 为技术增强学习环境中的可扩展、个性化评估工具提供基础。

提出的方法

• 以基于T5的预训练语言模型为基础，构建教育问答生成模型。
• 在大规模科学摘要语料库（S2ORC）上进一步预训练模型，以增强其对领域特定语言的理解能力。
• 在SciQ数据集（包含13,679道科学考试题）上微调预训练模型，以提升问答生成质量。
• 使用自动指标（BLEU、ROUGE、METEOR、F1、困惑度、多样性）和人工评估综合衡量问题质量。
• 将所提模型与SOTA基线模型Leaf（在SQuAD 1.1上微调）进行性能对比。
• 评估不同规模预训练数据对模型性能的影响，以衡量数据效率。

Figure 1: Methodology for training and evaluating the baseline Leaf model (blue), novel EduQG Small (green) and EduQG Large (yellow) models (and their $\cdot\ +$ counterparts), introducing additional pre-training and fine-tuning steps (green dashed boxes) to address RQ 2,3 and 4.

实验结果

研究问题

• RQ1 当使用领域特定数据进行适配时，预训练语言模型能否生成接近人类水平的教育问答？
• RQ2 与通用预训练相比，在科学文本上进行预训练是否能提升教育问答生成的质量？
• RQ3 预训练数据集的大小如何影响问答生成模型的性能？
• RQ4 在领域特定问答数据集上进行微调是否能进一步提升模型生成高质量教育问答的能力？

主要发现

• 在科学摘要上进行预训练，相比通用预训练，能显著提升生成问题的语言流畅性与语言有效性。
• 所提模型在自动评估指标上优于SOTA基线模型Leaf，尤其在ROUGE和F1分数上表现更优，表明其与参考答案的语义对齐度更高。
• 增加预训练数据规模可带来可测量的问题生成质量提升，表明存在正向的数据规模效应。
• 在SciQ数据集上进行微调，进一步增强了模型生成内容特定、课程对齐问题的能力，尤其在科学领域表现突出。
• 模型生成的问题在语言上有效且接近人类表达，表明其在真实教育场景中部署具有强大潜力。
• 人工评估被识别为下一步关键步骤，因当前结果依赖自动指标与标注数据集，尚缺乏AI生成与人工生成问题的直接人类对比。

Figure 2: The distribution of (i) BLEU 1, (ii) F1 and (iii) Perplexity Score between the Leaf and EduQG models.