[论文解读] Simplifying Paragraph-level Question Generation via Transformer Language Models

Luis Enrico Lopez, Diane Kathryn Cruz+2 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 17被引用 4

一句话总结

本文提出了一种简化的段落级问题生成方法，仅使用一个微调过的Transformer语言模型，无需额外机制、答案元数据或复杂架构。尽管方法简单，该模型在METEOR和ROUGE_L得分上分别优于先前的RNN-based Seq2Seq模型8.62分和14.27分，并在SQuAD v1.1上达到最先进性能，同时复杂度显著降低。

ABSTRACT

Question generation (QG) is a natural language generation task where a model is trained to ask questions corresponding to some input text. Most recent approaches frame QG as a sequence-to-sequence problem and rely on additional features and mechanisms to increase performance; however, these often increase model complexity, and can rely on auxiliary data unavailable in practical use. A single Transformer-based unidirectional language model leveraging transfer learning can be used to produce high quality questions while disposing of additional task-specific complexity. Our QG model, finetuned from GPT-2 Small, outperforms several paragraph-level QG baselines on the SQuAD dataset by 0.95 METEOR points. Human evaluators rated questions as easy to answer, relevant to their context paragraph, and corresponding well to natural human speech. Also introduced is a new set of baseline scores on the RACE dataset, which has not previously been used for QG tasks. Further experimentation with varying model capacities and datasets with non-identification type questions is recommended in order to further verify the robustness of pretrained Transformer-based LMs as question generators.

研究动机与目标

• 开发一种更简单、更高效的问答生成系统，避免使用复杂的模型架构和额外特征。
• 评估单个微调过的Transformer语言模型是否能在段落级问题生成中超越更复杂的RNN-based Seq2Seq模型。
• 研究输入格式、上下文长度和答案感知对模型性能的影响。
• 识别所提出的单模型方法的失败模式和局限性。
• 为现有最先进问答生成系统提供一种轻量化、更快且更可复现的替代方案。

提出的方法

• 在重新格式化的SQuAD v1.1数据集上微调GPT-2，即一个仅解码器的Transformer语言模型，用于问题生成。
• 将SQuAD数据重新格式化为带有[SEP]分隔符的连续文本序列，以模拟自回归语言建模。
• 使用OQPL（每行一个问题）和AQPL（所有问题在同一行）格式来组织训练时的输入-输出对。
• 采用标准的语言建模微调方法，未引入额外机制如注意力掩码、指针网络或答案标记。
• 使用标准NLP指标评估性能：BLEU-4、METEOR和ROUGE-L。
• 通过消融研究分析答案感知、输入格式和上下文长度的影响，以隔离性能影响因素。

实验结果

研究问题

• RQ1 单个微调过的Transformer语言模型是否能在不使用额外机制（如答案感知或注意力掩码）的情况下生成高质量问题？
• RQ2 输入格式（OQPL与AQPL）如何影响生成问题的质量和一致性？
• RQ3 上下文段落的长度是否显著影响模型生成准确且相关问题的能力？
• RQ4 当没有显式机制引导注意力聚焦于答案时，引入答案感知信息是否会影响性能？
• RQ5 该模型的主要失败模式是什么？哪些因素导致其生成错误？

主要发现

• 所提出的单模型方法在METEOR和ROUGE_L得分上分别优于先前的RNN-based Seq2Seq模型8.62分和14.27分。
• 该模型在SQuAD v1.1上实现了具有竞争力的性能，尽管仅使用一个基于解码器的Transformer且无答案感知机制，但仍达到最先进水平。
• 答案感知微调反而导致性能下降，尤其在BLEU-4上，ROUGE_L上略有下降，表明模型无法在缺乏显式架构支持的情况下有效利用答案感知信息。
• 该模型在OQPL格式下表现最佳，表明将问题分隔可提升训练信号的清晰度和生成质量。
• 较长的上下文段落会负面影响生成质量，随着上下文长度增加，性能出现下降。
• 失败模式包括答案幻觉、问题结构错误以及生成与上下文无关的问题，通常由注意力错位或上下文模糊引起。