[论文解读] Sequential Attention-based Network for Noetic End-to-End Response Selection

Qian Chen, Wen Wang|arXiv (Cornell University)|Jan 9, 2019

Topic Modeling参考文献 26被引用 29

一句话总结

该论文提出了一种基于增强序列推理模型（ESIM）的序列匹配模型，用于端到端的多轮响应选择任务，通过将上下文话语拼接为单一序列，将任务视为句子对分类问题。该方法优于所有先前的层次化模型，在Ubuntu和电子商务基准测试中均取得了新的最先进性能，Ubuntu的R@1最高提升79.6%，电子商务的R@1最高提升57.0%。

ABSTRACT

The noetic end-to-end response selection challenge as one track in Dialog System Technology Challenges 7 (DSTC7) aims to push the state of the art of utterance classification for real world goal-oriented dialog systems, for which participants need to select the correct next utterances from a set of candidates for the multi-turn context. This paper describes our systems that are ranked the top on both datasets under this challenge, one focused and small (Advising) and the other more diverse and large (Ubuntu). Previous state-of-the-art models use hierarchy-based (utterance-level and token-level) neural networks to explicitly model the interactions among different turns' utterances for context modeling. In this paper, we investigate a sequential matching model based only on chain sequence for multi-turn response selection. Our results demonstrate that the potentials of sequential matching approaches have not yet been fully exploited in the past for multi-turn response selection. In addition to ranking the top in the challenge, the proposed model outperforms all previous models, including state-of-the-art hierarchy-based models, and achieves new state-of-the-art performances on two large-scale public multi-turn response selection benchmark datasets.

研究动机与目标

• 开发一种更高效、更有效的面向目标导向对话系统的多轮响应选择方法。
• 探究序列匹配模型是否能在响应选择任务中超越复杂的层次化模型。
• 解决层次化模型的局限性，例如因固定长度截断导致的过度零填充和高计算成本。
• 证明通过序列级注意力隐式建模上下文-响应交互关系，可超越显式的层次化建模方式。
• 在公开基准测试中实现最先进性能，并赢得DSTC7 Noetic端到端响应选择挑战赛冠军。

提出的方法

• 该模型将多轮响应选择转化为二分类任务：判断候选响应是否为拼接后的上下文序列的正确下一条话语。
• 采用ESIM架构，包括输入编码、通过交叉注意力实现的局部匹配，以及使用双向LSTM层进行匹配组合。
• 局部匹配通过计算上下文与响应词元之间的注意力，捕捉细粒度交互关系。
• 匹配组合通过双向LSTM聚合局部匹配表示，生成全局的上下文-响应交互表征。
• 模型通过交叉熵损失进行端到端训练，推理通过在最终表征上进行Softmax分类完成。
• 采用集成策略，结合不同变体（如带/不带上下文解码、反转上下文）以进一步提升性能。

实验结果

研究问题

• RQ1 纯粹的序列匹配模型是否能在多轮响应选择任务中超越最先进层次化模型？
• RQ2 通过序列级注意力隐式建模上下文-响应交互关系，是否优于显式的层次化建模方式（如话语与词元的交互）？
• RQ3 与层次化模型相比，所提出方法在计算成本和零填充开销方面减少了多少？
• RQ4 该模型在包含外部知识或噪声候选池的多样化基准测试中表现如何？
• RQ5 该模型在不同对话领域（如Ubuntu和电子商务）中是否具备良好的泛化能力？

主要发现

• 基于ESIM的序列模型在DSTC7 Noetic端到端响应选择挑战赛的Advising和Ubuntu数据集上均取得第一名。
• 在Lowe’s Ubuntu基准测试中，模型达到79.6% R@1、89.4% R@2和97.5% R@5，分别优于之前的SOTA（DAM模型）2.9%、2.0%和0.6%。
• 在电子商务基准测试中，模型达到57.0% R@1、76.7% R@2和94.8% R@5，分别优于之前的SOTA（DUA模型）6.9%、6.7%和2.7%。
• 消融实验证实，局部匹配和匹配组合组件均至关重要，移除任一组件均导致性能显著下降。
• 通过集成多个ESIM模型变体（如带/不带上下文解码、反转上下文）获得一致性能提升，在Ubuntu子任务4中达到0.909 R@10和0.6771 MRR。
• 即使引入外部知识（如Linux手册页），模型仍表现出稳健性，性能提升微乎其微，表明其具备强大的内在建模能力。