[论文解读] Neural Contextual Conversation Learning with Labeled Question-Answering Pairs

Kun Xiong, Anqi Cui+2 more|arXiv (Cornell University)|Jul 20, 2016

Topic Modeling参考文献 18被引用 12

一句话总结

本文提出一种使用标注问答对来提升序列到序列生成中响应多样性与鲁棒性的上下文感知神经对话模型。通过集成门控上下文注意力机制，利用卷积神经网络编码器特征记忆潜在主题，该模型在困惑度方面优于标准序列到序列模型，并能生成领域自适应、上下文敏感的响应，适用于各种输入。

ABSTRACT

Neural conversational models tend to produce generic or safe responses in different contexts, e.g., reply extit{"Of course"} to narrative statements or extit{"I don't know"} to questions. In this paper, we propose an end-to-end approach to avoid such problem in neural generative models. Additional memory mechanisms have been introduced to standard sequence-to-sequence (seq2seq) models, so that context can be considered while generating sentences. Three seq2seq models, which memorize a fix-sized contextual vector from hidden input, hidden input/output and a gated contextual attention structure respectively, have been trained and tested on a dataset of labeled question-answering pairs in Chinese. The model with contextual attention outperforms others including the state-of-the-art seq2seq models on perplexity test. The novel contextual model generates diverse and robust responses, and is able to carry out conversations on a wide range of topics appropriately.

研究动机与目标

• 为解决神经对话模型中出现的通用且上下文不敏感的响应问题，例如“当然”或“我不知道”。
• 在无需特征工程或外部知识的情况下，提升响应生成的上下文敏感性与鲁棒性。
• 评估三种记忆机制——固定上下文向量、隐藏状态融合与门控上下文注意力——在将上下文信息整合到序列到序列模型中的效果。
• 证明在标注问答对数据上进行预训练，可通过上下文感知学习提升下游对话生成性能。

提出的方法

• 卷积神经网络编码器提取文本特征，并从输入话语中推断潜在主题，以生成上下文表征。
• 标准LSTM编码器处理输入序列，而独立的上下文LSTM则基于输入和上下文向量共同计算响应。
• 实现三种不同的记忆机制：固定上下文向量、隐藏状态拼接与门控上下文注意力，以实现动态上下文整合。
• 门控注意力机制利用可学习门控，选择性地关注相关上下文，实现自适应响应生成。
• 模型在中文社区问答数据集上端到端训练，并在对话数据集上微调，困惑度作为主要评估指标。
• 通过解码器联合编码输入与上下文向量，对输出序列的条件概率进行建模。

实验结果

研究问题

• RQ1 在模型中引入标注问答对是否能提升神经对话响应的上下文敏感性与多样性？
• RQ2 在固定向量、隐藏状态融合与门控注意力三种记忆机制中，哪一种最有效地捕捉并利用上下文信息？
• RQ3 在问答数据集上进行预训练是否能增强响应生成对输入变化与噪声的鲁棒性？
• RQ4 与当前最先进序列到序列模型相比，该模型在困惑度与响应质量方面表现如何？

主要发现

• 采用门控上下文注意力机制的Context-Attn模型在所有测试模型中取得最低困惑度得分，表明其生成质量更优。
• 即使输入句子包含噪声或细微变化（如拼写错误或无关词汇），该模型仍能生成多样且上下文敏感的响应。
• 响应在广泛的主题范围内保持连贯与相关，展现出对输入扰动的强鲁棒性。
• 在生成领域自适应响应方面，尤其在处理话题转换时，该模型优于标准序列到序列模型及其他记忆机制。
• 在预训练阶段使用标注问答数据，显著增强了模型的上下文感知能力与鲁棒性，如在噪声输入下的离线实验所证实。
• 注意力权重可视化结果表明，门控注意力机制能有效突出相关上下文（如“泰坦尼克号”和“詹姆斯”），同时抑制无关词汇。