[论文解读] Neural Generative Question Answering

Jun Yin, Xin Jiang+4 more|arXiv (Cornell University)|Dec 4, 2015

Topic Modeling参考文献 20被引用 33

一句话总结

本文提出 genQA，一种端到端的神经生成式问答模型，结合序列到序列学习与外部知识库检索。通过在生成通用词汇与检索知识库特有术语之间动态切换，该模型生成流畅且事实准确的答案，在真实世界事实型问题数据集上的表现优于基于嵌入的问答模型和神经对话模型。

ABSTRACT

This paper presents an end-to-end neural network model, named Neural Generative Question Answering (GENQA), that can generate answers to simple factoid questions, based on the facts in a knowledge-base. More specifically, the model is built on the encoder-decoder framework for sequence-to-sequence learning, while equipped with the ability to enquire the knowledge-base, and is trained on a corpus of question-answer pairs, with their associated triples in the knowledge-base. Empirical study shows the proposed model can effectively deal with the variations of questions and answers, and generate right and natural answers by referring to the facts in the knowledge-base. The experiment on question answering demonstrates that the proposed model can outperform an embedding-based QA model as well as a neural dialogue model trained on the same data.

研究动机与目标

• 开发一种端到端的神经模型，利用外部知识库事实生成自然语言答案以回答事实型问题。
• 通过整合外部知识库，解决纯神经模型在存储和检索离散、孤立事实方面的局限性。
• 使模型能够动态决定何时生成通用词汇，何时从知识库检索术语。
• 联合训练问题-答案对及其对应的知识库三元组，确保语言生成与事实内容的一致性。
• 在生成式问答任务中超越现有方法，如基于嵌入的问答模型和神经对话模型。

提出的方法

• 该模型采用编码器-解码器框架进行序列到序列学习，编码器将输入问题编码为上下文向量。
• 解码器通过门控机制增强，以控制生成通用词汇与从知识库检索术语的概率。
• 通过神经注意力机制执行知识库检索，识别与问题相关的相关三元组（主语，谓词，宾语）。
• 模型在问题-答案对及其对应的知识库三元组上进行联合训练，实现生成与检索组件的端到端优化。
• 推理阶段使用带长度归一化的束搜索（beam search）以生成简洁且高概率的答案。
• 该架构支持将知识库词汇（如 'John Malkovich'）与自然语言上下文（如 'He is...'）组合，从而生成流畅且基于事实的回应。

实验结果

研究问题

• RQ1 神经生成模型能否有效结合序列到序列学习与外部知识库检索，以生成准确且自然的回答来应对事实型问题？
• RQ2 该模型在保持与知识库事实一致性的同时，对问题和答案中的语言变体处理效果如何？
• RQ3 与纯基于嵌入的或对话式神经模型相比，显式集成知识库访问是否能提升问答性能？
• RQ4 模型在生成通用词汇与检索知识库术语之间切换的能力，在多大程度上提升了答案的流畅性与正确性？
• RQ5 当模型检索到错误或部分正确的三元组时，其失败模式是什么，对答案质量有何影响？

主要发现

• genQA 模型在问答任务中表现优于在同一数据集上训练的基于嵌入的问答模型和神经对话模型。
• 通过将检索到的知识库术语与适当的通用词汇结合，模型成功生成了流畅且自然的回答，多个测试示例已证明这一点。
• 即使检索到正确的知识库三元组，约 8% 的生成答案仍包含错误或不恰当的通用词汇。
• 在某些情况下，模型检索到错误的三元组（例如，将电影的发行商与发行日期关联），导致事实性错误的答案。
• 模型性能对知识库三元组的质量以及问题与相关事实之间的对齐程度较为敏感，凸显了构建准确知识库的重要性。
• 带长度归一化的束搜索倾向于生成较短的答案，这与数据集中事实型问题回答的典型简洁性一致。