[论文解读] Putting the Horse Before the Cart:A Generator-Evaluator Framework for Question Generation from Text

Vishwajeet Kumar, Ganesh Ramakrishnan+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 30被引用 12

一句话总结

本文提出了一种新颖的生成器-评估器框架，用于神经机器问题生成，通过将训练目标与标准评估指标对齐，直接优化问题质量。生成器利用答案预测、复制机制和覆盖机制，生成句法和语义上连贯的问题；评估器采用针对文本和答案一致性的自定义奖励函数，结合BLEU、ROUGE-L和DAS，在SQuAD数据集上达到最先进性能。

ABSTRACT

Automatic question generation (QG) is a useful yet challenging task in NLP. Recent neural network-based approaches represent the state-of-the-art in this task. In this work, we attempt to strengthen them significantly by adopting a holistic and novel generator-evaluator framework that directly optimizes objectives that reward semantics and structure. The {\it generator} is a sequence-to-sequence model that incorporates the {\it structure} and {\it semantics} of the question being generated. The generator predicts an answer in the passage that the question can pivot on. Employing the copy and coverage mechanisms, it also acknowledges other contextually important (and possibly rare) keywords in the passage that the question needs to conform to, while not redundantly repeating words. The {\it evaluator} model evaluates and assigns a reward to each predicted question based on its conformity to the {\it structure} of ground-truth questions. We propose two novel QG-specific reward functions for text conformity and answer conformity of the generated question. The evaluator also employs structure-sensitive rewards based on evaluation measures such as BLEU, GLEU, and ROUGE-L, which are suitable for QG. In contrast, most of the previous works only optimize the cross-entropy loss, which can induce inconsistencies between training (objective) and testing (evaluation) measures. Our evaluation shows that our approach significantly outperforms state-of-the-art systems on the widely-used SQuAD benchmark as per both automatic and human evaluation.

研究动机与目标

• 解决神经机器问题生成中训练目标（如交叉熵损失）与评估指标（如BLEU、ROUGE）之间的不一致问题。
• 通过显式建模答案预测、关键词复制和词覆盖机制，提升生成问题的质量。
• 设计一个整体性评估器，使用对结构敏感、任务特定的奖励函数，与标准NLP评估指标对齐。
• 通过引入针对问题-答案语义和文本一致性的新型QG专用奖励，弥合自动评估与人工评估之间的差距。
• 通过端到端优化生成器和评估器组件，在SQuAD基准上实现最先进性能。

提出的方法

• 生成器是一个序列到序列模型，通过指针网络增强，用于从输入段落中预测关键答案。
• 其整合了复制和覆盖机制，以保留语境中重要的关键词，并避免重复词语的冗余。
• 评估器使用一套奖励函数：一个用于文本一致性（基于BLEU、GLEU、ROUGE-L），一个用于答案一致性，以及一个可分解注意力得分（DAS）用于与标准答案问题的语义相似性。
• 该框架采用强化学习，利用评估器提供的奖励来优化生成器，使训练目标与测试时的评估指标对齐。
• 奖励函数被设计为不可分解且对结构敏感，确保训练目标能真实反映实际评估表现。
• 系统在SQuAD数据集上进行端到端训练，并通过消融实验验证了各组件的贡献。

实验结果

研究问题

• RQ1 能否通过将训练目标与标准评估指标（如BLEU、ROUGE）对齐的生成器-评估器框架，提升问题生成质量？
• RQ2 在生成器中引入答案预测、复制和覆盖机制，对问题的句法和语义正确性有何影响？
• RQ3 针对QG的专用奖励函数（文本一致性、答案一致性、DAS）在多大程度上提升了自动评估和人工评估得分？
• RQ4 使用结构敏感奖励的强化学习是否比标准交叉熵训练带来更好的泛化性能？
• RQ5 句内依赖关系（如共指、概念关联）如何影响模型性能，是否可被缓解？

主要发现

• 所提出的框架，特别是加入QSS和ANSS奖励函数后，在SQuAD测试集上达到BLEU-4得分为79.3，显著优于之前的SOTA模型。
• 人工评估显示，采用QSS+ANSS奖励的模型在句法正确性上得分为78.3，语义正确性为0.68，相关性为74.6，表明在所有维度上质量均有提升。
• 仅使用DAS作为奖励函数的模型表现出较高的语义相似度，但自动指标得分较差，表明人工评估与自动评估之间存在权衡。
• ROUGE与QSS+ANSS的结合带来了更高的F1分数（72.0）和更好的召回率，优于仅依赖精度导向指标（如BLEU）的模型。
• 错误分析显示，主要失败案例源于未解决的句内依赖关系，如共指和概念关联，提示这是未来工作的关键挑战。
• 该框架表明，通过自定义奖励函数将训练目标与测试时指标对齐，可一致提升自动评估与人工评估的表现。