[论文解读] Topic Augmented Neural Network for Short Text Conversation.

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Apr 30, 2016

Topic Modeling参考文献 44被引用 15

一句话总结

本文提出主题增强神经网络（TANN），一种基于检索的聊天机器人模型，通过将主题信息整合到神经匹配框架中，提升消息-回复匹配效果。通过结合句子嵌入、基于消息内容加权主题词的主题嵌入以及匹配层，TANN 在大规模人工标注数据集上显著优于标准神经网络和现有匹配模型。

ABSTRACT

Message response matching is an important task within retrieval-based chatbots. We present a topic augmented neural network(TANN), comprising a sentence embedding layer, a topic embedding layer, and a matching layer, to match messages and response candidates. TANN inherits the benefits of neutral networks on matching sentence pairs, and leverages extra topic information and their corresponding weights as prior knowledge into a matching process. In TANN, the sentence embedding layer embeds an input message and a response into a vector space, while the topic embedding layer forms a topic vector by a linear combination of the embedding of topic words whose weights are determined by both themselves and the message vector. The message vector, the response vector, and the topic vector are then fed to the matching layer to calculate a matching score. The extensive evaluation of TANN, using large human annotated data sets, shows that TANN outperforms simple neutral network methods, while beating other typical matching models with a large margin.

研究动机与目标

• 通过将主题信息作为先验知识，提升基于检索的聊天机器人中消息-回复匹配性能。
• 解决标准神经网络在捕捉短文本对话中语义与主题相关性方面的局限性。
• 设计一种联合学习句子与主题表征的神经架构，以提升匹配性能。
• 评估主题增强表征学习在真实世界、人工标注的短文本对话数据集上的有效性。

提出的方法

• 该模型使用句子嵌入层，将输入消息和响应候选映射为稠密向量表示。
• 主题嵌入层通过主题词嵌入的加权线性组合计算主题向量，其中权重由主题词和消息向量共同决定。
• 消息向量、响应向量与主题向量在匹配层中结合，以计算最终匹配得分。
• 主题权重通过消息与主题词之间的注意力机制动态确定，实现上下文感知的主题表征。
• 整个模型通过对比损失端到端训练，以优化相关消息-响应对的匹配得分。
• 该架构整合了主题的先验知识，以提升短文本匹配任务中的泛化能力与相关性。

实验结果

研究问题

• RQ1 将主题信息整合是否能提升神经网络在匹配短文本消息与响应方面的性能？
• RQ2 与标准神经网络基线相比，引入主题感知表征对匹配准确率有何影响？
• RQ3 基于消息内容对主题词进行动态加权，在多大程度上提升了匹配效果？
• RQ4 所提出的 TANN 模型是否在多样化的短文本对话数据集上具有良好泛化能力？

主要发现

• TANN 在大规模人工标注的短文本对话数据集上显著优于标准神经网络方法。
• 该模型在其他典型匹配模型上实现了显著的性能提升，证明了主题增强学习的有效性。
• 将主题信息作为先验知识，增强了模型捕捉短文本中语义与主题相关性能力。
• 动态主题加权机制通过使主题向量与消息上下文对齐，提升了表征质量。
• TANN 的端到端训练使其在多样化对话场景中均表现出稳健且可泛化的匹配性能。