[论文解读] Thinking Globally, Acting Locally: Distantly Supervised Global-to-Local Knowledge Selection for Background Based Conversation

Pengjie Ren, Zhumin Chen+3 more|arXiv (Cornell University)|Aug 26, 2019

Topic Modeling参考文献 44被引用 7

一句话总结

本文提出了一种基于背景的对话全局到局部知识选择（GLKS）机制，通过首先利用话题转移向量识别全局相关的知识片段，再引导局部标记级别的选择，从而提升响应生成质量。该方法采用弱监督学习训练全局模块，无需额外标注，显著优于当前最先进模型的自动评估与人工评估指标。

ABSTRACT

Background Based Conversations (BBCs) have been introduced to help conversational systems avoid generating overly generic responses. In a BBC, the conversation is grounded in a knowledge source. A key challenge in BBCs is Knowledge Selection (KS): given a conversational context, try to find the appropriate background knowledge (a text fragment containing related facts or comments, etc.) based on which to generate the next response. Previous work addresses KS by employing attention and/or pointer mechanisms. These mechanisms use a local perspective, i.e., they select a token at a time based solely on the current decoding state. We argue for the adoption of a global perspective, i.e., pre-selecting some text fragments from the background knowledge that could help determine the topic of the next response. We enhance KS in BBCs by introducing a Global-to-Local Knowledge Selection (GLKS) mechanism. Given a conversational context and background knowledge, we first learn a topic transition vector to encode the most likely text fragments to be used in the next response, which is then used to guide the local KS at each decoding timestamp. In order to effectively learn the topic transition vector, we propose a distantly supervised learning schema. Experimental results show that the GLKS model significantly outperforms state-of-the-art methods in terms of both automatic and human evaluation. More importantly, GLKS achieves this without requiring any extra annotations, which demonstrates its high degree of scalability.

研究动机与目标

• 为解决基于背景对话系统中局部知识选择的局限性，即模型在缺乏全局上下文的情况下逐个标记地选择知识。
• 通过引入全局视角，预先识别下一响应可能相关的背景片段，从而改进知识选择（KS）质量。
• 开发一种无需人工标注的可扩展训练方法，用于全局知识选择模块。
• 通过结合全局引导与局部解码，提升响应质量，减少因过早或不一致的知识选择导致的错误。

提出的方法

• GLKS框架包含一个全局知识选择（GKS）模块，该模块学习一个话题转移向量，以表示最可能用于下一响应的背景片段。
• 在每个解码步骤中，话题转移向量用于引导局部知识选择（LKS）模块，提升响应的连贯性与准确性。
• 提出一种弱监督学习方案，利用真实响应与背景知识之间的Jaccard相似度作为弱信号，用于训练GKS模块。
• 采用全局监督信号与局部生成的最大似然估计（MLE）损失的线性组合，进行端到端训练。
• GKS模块与生成头独立优化，使模型可在局部解码前学习到全局上下文。
• 最终模型以端到端可微分的方式整合全局与局部知识选择，支持联合优化。

实验结果

研究问题

• RQ1 全局知识选择机制能否提升基于背景对话系统中知识选择的准确率与一致性？
• RQ2 如何在无需昂贵人工标注的情况下，有效学习全局视角？
• RQ3 将全局引导与局部解码相结合，能否减少因短视的逐标记选择导致的错误？
• RQ4 基于Jaccard相似度的弱监督学习在多大程度上提升了全局知识选择模块的性能？

主要发现

• GLKS模型在自动评估与人工评估指标上均显著优于当前最先进方法，展现出更优的知识选择能力与响应质量。
• 当m=4时，模型表现最佳，表明该设置能有效区分相关知识片段。
• 可视化结果表明，GLKS可避免错误或不一致的知识选择，例如在解码早期选择无关的背景片段。
• 弱监督学习方案使全局模块得以有效训练，无需额外标注，显著提升了可扩展性。
• 案例研究证实，与GTTP、RefNet和LKS相比，GLKS生成的响应更具上下文相关性与自然度，后三者常选择不相关或矛盾的知识。