[论文解读] Story Ending Generation with Incremental Encoding and Commonsense Knowledge

Jian Guan, Yansen Wang+1 more|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 32被引用 8

一句话总结

该论文提出了一种神经网络模型用于故事结尾生成，采用增量编码来捕捉跨故事句子的上下文线索，并通过多源注意力机制整合来自ConceptNet的常识知识。该模型在自动和人工评估中均优于最先进基线模型，生成的结尾更具连贯性和合理性。

ABSTRACT

Generating a reasonable ending for a given story context, i.e., story ending generation, is a strong indication of story comprehension. This task requires not only to understand the context clues which play an important role in planning the plot but also to handle implicit knowledge to make a reasonable, coherent story. In this paper, we devise a novel model for story ending generation. The model adopts an incremental encoding scheme to represent context clues which are spanning in the story context. In addition, commonsense knowledge is applied through multi-source attention to facilitate story comprehension, and thus to help generate coherent and reasonable endings. Through building context clues and using implicit knowledge, the model is able to produce reasonable story endings. context clues implied in the post and make the inference based on it. Automatic and manual evaluation shows that our model can generate more reasonable story endings than state-of-the-art baselines.

研究动机与目标

• 通过建模跨越多个句子的逻辑上下文线索，提升故事结尾生成的质量。
• 通过整合表面文本之外的隐含常识知识，增强对故事的理解能力。
• 开发一种神经架构，有效结合增量编码与多源注意力机制，以实现对上下文和知识的更优利用。
• 生成比现有方法更具连贯性、逻辑性以及上下文相关性的故事结尾。

提出的方法

• 该模型采用增量编码，按顺序处理故事句子，动态维护随每句新输入而演化的上下文表示。
• 通过关注前序词语以及从ConceptNet检索到的相关知识图谱，为每个词语构建上下文线索。
• 使用多源注意力机制，同时关注循环编码器的隐藏状态和知识图谱嵌入，实现在文本与知识上的联合推理。
• 知识图谱嵌入源自ConceptNet，关系如'AtLocation'和'RelatedTo'用于将实体和事件与相关常识事实关联。
• 最终的上下文向量是隐藏状态与知识感知表示的加权和，通过在两种来源上使用注意力机制计算得出。
• 模型采用端到端的序列到序列学习方法进行训练，使用交叉熵损失函数，以生成流畅且上下文恰当的故事结尾。

实验结果

研究问题

• RQ1 增量编码能否有效建模故事句子间长距离的逻辑依赖关系，以支持结尾生成？
• RQ2 将外部知识库中的常识知识进行整合，如何提升生成故事结尾的连贯性和合理性？
• RQ3 与仅依赖表面文本的模型相比，对文本和知识图谱进行多源注意力机制处理，在多大程度上提升了故事理解能力？
• RQ4 该模型能否生成多个既语法正确又与上下文逻辑一致的合理故事结尾？
• RQ5 在自动评估和人工评估指标方面，该方法与最先进基线模型相比表现如何？

主要发现

• 所提出的模型在自动评估和人工评估中均优于最先进基线模型，生成的故事结尾更具连贯性和合理性。
• 增量编码机制有效捕捉了句子间演变的上下文线索，从而支持更好的情节规划和逻辑一致性。
• 通过多源注意力机制整合常识知识，显著提升了模型推断合理结尾的能力，尤其在涉及隐含或文化背景知识的情境中表现更优。
• 可视化结果表明，注意力机制成功将故事中的关键事件和实体与知识图谱中的相关节点关联，例如将'dinner'关联到'eat'，将'oven'关联到'burn'。
• 该模型生成的结尾更加自然且语法正确，避免了Seq2Seq和HLSTM等基线模型中常见的实体幻觉或重复内容等问题。
• 消融实验证实，增量编码与知识整合在性能提升中均具有独立贡献，并产生协同效应。