[论文解读] Neural Question Generation from Text: A Preliminary Study

Qingyu Zhou, Nan Yang+4 more|arXiv (Cornell University)|Apr 6, 2017

Topic Modeling参考文献 16被引用 36

一句话总结

本文提出了一种神经机器问答生成（NQG）框架，采用双向GRU编码器，并结合答案位置、词性（POS）和命名实体识别（NER）特征，从文本中生成流畅且以答案为中心的问题。在SQuAD数据集上的实验表明，该模型能够生成多样化、高质量的问题，在人工评估中相关性与连贯性平均得分达到2.18，优于基于规则的基线模型。

ABSTRACT

Automatic question generation aims to generate questions from a text passage where the generated questions can be answered by certain sub-spans of the given passage. Traditional methods mainly use rigid heuristic rules to transform a sentence into related questions. In this work, we propose to apply the neural encoder-decoder model to generate meaningful and diverse questions from natural language sentences. The encoder reads the input text and the answer position, to produce an answer-aware input representation, which is fed to the decoder to generate an answer focused question. We conduct a preliminary study on neural question generation from text with the SQuAD dataset, and the experiment results show that our method can produce fluent and diverse questions.

研究动机与目标

• 开发一种神经序列到序列模型，从文本中生成自然语言问题，而无需依赖严格的启发式规则。
• 通过在编码器中引入答案位置、词性（POS）和命名实体识别（NER）特征，提升生成问题的相关性与多样性。
• 对SQuAD数据集进行适配，用于训练和评估神经问答生成模型。
• 通过自动评估与人工评估指标，评估神经问答生成的有效性。
• 在后续工作中探索自动生成问题在提升问答系统性能方面的潜力。

提出的方法

• 该模型采用双向GRU编码器，将输入词、答案位置（通过BIO标注表示）、词性（POS）标签和命名实体识别（NER）标签作为输入特征。
• 答案位置通过BIO标注方案编码，其中B标记起始，I表示延续，O表示非答案词，其嵌入向量输入编码器。
• 将词形大小写、词性（POS）和命名实体识别（NER）标签等词汇特征进行嵌入，并与词向量拼接，以增强句子表征。
• 解码器采用注意力机制，关注编码器的隐藏状态，并以最后一个反向隐藏状态作为初始解码器状态。
• 在每个解码步骤中，通过拼接注意力机制计算上下文向量，将解码器状态与编码器状态对齐，以聚焦于相关输入片段。
• 该模型在SQuAD数据集上端到端进行训练，生成的问题以指定文本片段为答案焦点。

实验结果

研究问题

• RQ1 神经序列到序列模型能否在不依赖手工规则的前提下，从自然语言文本中生成流畅且多样化的问答？
• RQ2 在生成问题中引入答案位置、词性（POS）和命名实体识别（NER）特征，对提升问题相关性有多大的有效性？
• RQ3 NQG模型在多大程度上能生成与标准答案在精确率与召回率上匹配的问题，且覆盖不同问题类型？
• RQ4 在人工评估中，神经NQG模型与基于规则的基线模型在问题质量与相关性方面表现如何？
• RQ5 特定组件（如答案位置特征）对整个问答生成系统性能的影响如何？

主要发现

• NQG++模型在人工评估中得分达2.18，显著优于PCFG-Trans基线模型（1.42），表明其生成问题的相关性与连贯性更优。
• 两个模型的Fleiss’ kappa值分别为0.50和0.46，表明人工评估具有中等程度的评分者间一致性，验证了评估的可靠性。
• 消融实验表明，移除答案位置特征后性能急剧下降，证实其在生成答案聚焦问题中的关键作用。
• 对词形大小写、词性（POS）和命名实体识别（NER）特征的消融分析表明，每一项均对提升问题生成质量有积极贡献。
• 模型在主要问题类型（WHAT、HOW、WHO、WHEN）上表现良好，精确率与召回率均较高，但在WHICH与WHY类型上表现欠佳，原因在于训练数据频率较低且表述存在歧义。
• 案例研究证实，该模型能够准确复制输入中的答案片段，并在多种问题类型下生成语法正确、语境相关的高质量问题。