[论文解读] Neural Net Models for Open-Domain Discourse Coherence

Jiwei Li, Dan Jurafsky|arXiv (Cornell University)|Jun 5, 2016

Topic Modeling参考文献 62被引用 17

一句话总结

本文提出了一种与领域无关的神经网络模型，用于开放领域话语连贯性建模，采用判别式与生成式方法评估并生成连贯文本。该研究提出了一种新颖的隐变量马尔可夫生成模型，显著提升了句子排序与文本生成的性能，在开放领域连贯性任务上达到最先进水平，包括完整段落的句子重排任务。

ABSTRACT

Discourse coherence is strongly associated with text quality, making it important to natural language generation and understanding. Yet existing models of coherence focus on measuring individual aspects of coherence (lexical overlap, rhetorical structure, entity centering) in narrow domains. In this paper, we describe domain-independent neural models of discourse coherence that are capable of measuring multiple aspects of coherence in existing sentences and can maintain coherence while generating new sentences. We study both discriminative models that learn to distinguish coherent from incoherent discourse, and generative models that produce coherent text, including a novel neural latent-variable Markovian generative model that captures the latent discourse dependencies between sentences in a text. Our work achieves state-of-the-art performance on multiple coherence evaluations, and marks an initial step in generating coherent texts given discourse contexts.

研究动机与目标

• 开发能够衡量开放领域文本中多种话语连贯性特征（如词汇连贯性、指代连贯性、时间顺序与因果关系）的神经模型。
• 通过实现端到端的连贯话语生成，克服现有模型局限于狭窄领域且仅能对已有文本打分的局限性。
• 提出一种隐变量生成模型，以捕捉句子之间的隐藏话语依赖关系，从而提升生成文本的连贯性。
• 在具有挑战性的开放领域任务上评估模型，包括完整段落的句子重排，超越简单的句子对排序任务。
• 为未来在自然语言处理中实现话语感知的文本生成与评估奠定基础。

提出的方法

• 判别式模型使用LSTM编码的连续句子对的句子嵌入，输入分类器以区分连贯与不连贯的话语，负样本通过随机替换句子生成。
• 生成式模型采用编码器-解码器框架，并引入以马尔可夫链结构化的神经隐变量，以建模句子间的话语级依赖关系。
• 采用分层神经模型作为对抗判别器，以区分人类生成与机器生成的文本，从而提升训练稳定性和生成连贯性。
• 模型整合了HMM-LDA主题模型与端到端的马尔可夫结构化隐变量，以捕捉话语结构并提升生成质量。
• 句子表示通过LSTM学习，词嵌入映射为K维向量，最终隐藏状态作为句子级表示。
• 连贯性得分通过将连接后的句子表示输入前馈网络计算得出，使用Sigmoid激活函数进行分类。

实验结果

研究问题

• RQ1 神经模型能否在开放领域话语连贯性任务中超越狭窄领域设定，实现最先进性能？
• RQ2 生成式模型能否在生成新文本时有效学习并保持话语连贯性，而不仅限于对已有文本打分？
• RQ3 隐变量模型在多大程度上能捕捉隐藏的话语依赖关系，如实体中心化、时间顺序与因果关系？
• RQ4 所提出的模型能否在具有挑战性的完整段落句子重排任务中超越现有方法？
• RQ5 模型的连贯性得分在多大程度上能反映词汇衔接与指代连续性等细微话语现象？

主要发现

• 判别式模型在标准领域特定句子对排序基准上达到96%的准确率，表明其在狭窄领域中表现强劲。
• 在开放领域设置中，由于在广阔语义空间中负样本覆盖有限，判别式模型性能下降。
• 采用马尔可夫结构化隐变量的生成式模型显著提升了生成文本的连贯性，优于基线模型。
• 该模型在大规模开放领域句子重排任务中表现最佳，包括完整重建段落中所有句子的正确顺序。
• 定性分析表明，模型能为在词汇与指代上连贯的句子对分配更高的连贯性得分，而对不连贯或语义不匹配的句子对分配更低得分。
• 对抗判别器的成功率为0.081，表明其能以超过90%的准确率区分人类与机器生成的对话，验证了模型生成类人连贯性文本的能力。