[论文解读] Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots

Yu Wu, Wei Wu+3 more|arXiv (Cornell University)|Dec 6, 2016

Topic Modeling参考文献 30被引用 9

一句话总结

本文提出顺序匹配网络（SMN），一种用于检索式聊天机器人多轮响应选择的新颖架构，通过在多个粒度上建模话语-响应匹配，并利用循环累积保留话语间的时序关系。SMN 在两个公开数据集上优于最先进方法，有效捕捉了细粒度匹配信号与对话上下文中的序列依赖性。

ABSTRACT

We study response selection for multi-turn conversation in retrieval-based chatbots. Existing work either concatenates utterances in context or matches a response with a highly abstract context vector finally, which may lose relationships among utterances or important contextual information. We propose a sequential matching network (SMN) to address both problems. SMN first matches a response with each utterance in the context on multiple levels of granularity, and distills important matching information from each pair as a vector with convolution and pooling operations. The vectors are then accumulated in a chronological order through a recurrent neural network (RNN) which models relationships among utterances. The final matching score is calculated with the hidden states of the RNN. An empirical study on two public data sets shows that SMN can significantly outperform state-of-the-art methods for response selection in multi-turn conversation.

研究动机与目标

• 解决现有检索式聊天机器人在将话语连接或压缩为单一向量时所面临的局限，避免关键信息与话语间关系的丢失。
• 在建模多轮对话中话语之间的时序依赖关系的同时，保留每个话语-响应对中的重要上下文信息。
• 通过端到端学习上下文-响应匹配并最小化信息损失，提升开放域多轮对话中的响应选择准确率。
• 提出一种新架构，将单轮对话中的二维匹配扩展至多轮设置，增强匹配的粒度与序列建模能力。

提出的方法

• SMN 使用词嵌入和GRU编码的隐藏状态，在每个上下文话语与响应之间构建词-词和序列-序列相似度矩阵。
• 在这些矩阵上交替应用卷积与池化操作，将匹配信号提炼并融合为多个粒度下的紧凑、信息丰富的匹配向量。
• 这些匹配向量按时间顺序通过GRU处理，以建模话语之间的时序关系与依赖性。
• 通过将逻辑层应用于GRU的最终隐藏状态，计算最终的匹配得分，该状态累积了对话历史中的匹配表征。
• 模型采用对比损失进行端到端训练，以优化响应选择准确率。
• SMN 采用“先匹配”策略，确保响应监督能直接指导从每个话语-响应对中提取相关特征。

实验结果

研究问题

• RQ1 ‘先匹配’架构能否在多轮对话中保留每个话语-响应对的细粒度、上下文相关的信息？
• RQ2 当匹配信号分别来自每个对时，循环网络在建模话语间序列依赖关系方面的有效性如何？
• RQ3 与单层或向量基匹配相比，整合多级匹配（词级与片段级）是否能提升响应选择性能？
• RQ4 在不同上下文长度下，模型表现如何，特别是在捕捉长距离依赖关系方面？
• RQ5 各组件（如2D匹配、GRU累积）对整体性能的贡献如何，且模型在结构消融实验下是否具有鲁棒性？

主要发现

• SMN 在Ubuntu与Douban对话数据集上显著优于最先进方法，均在平均平均精度（MAP）与Top-5召回率（R@5）上表现出一致提升。
• 消融实验表明，若将多通道2D匹配替换为神经张量网络，性能出现显著下降，证实了细粒度匹配信号的重要性。
• 若将用于匹配累积的GRU替换为多层感知机，性能略有下降，表明建模话语顺序可提升匹配准确率。
• 当同时使用词级与序列级匹配通道时，模型表现最佳，其中序列级通道（M₂）的贡献略高于词级通道（M₁）。
• 当上下文长度低于5轮时，性能显著提升，10轮后趋于稳定，表明最大上下文长度设为10在效果与效率之间提供了良好权衡。
• 错误分析揭示了在建模逻辑一致性方面的局限性，SMN 有时会为与上下文逻辑流程矛盾的响应分配高分，表明未来需开展更具推理意识的响应选择研究。