[论文解读] Self-Supervised Dialogue Learning

Jiawei Wu, Xin Wang+1 more|arXiv (Cornell University)|Jun 30, 2019

Topic Modeling参考文献 45被引用 6

一句话总结

本文提出一种自监督学习方法——不一致顺序检测，通过将话语序列顺序作为监督信号来提升对话连贯性。该方法采用基于采样的网络（SSN），捕捉长距离对话依赖关系，并通过对抗性训练与对话模型集成，在无需显式多样性目标的情况下，在OpenSubtitles和Movie-Ticket Booking数据集上取得了最先进结果。

ABSTRACT

The sequential order of utterances is often meaningful in coherent dialogues, and the order changes of utterances could lead to low-quality and incoherent conversations. We consider the order information as a crucial supervised signal for dialogue learning, which, however, has been neglected by many previous dialogue systems. Therefore, in this paper, we introduce a self-supervised learning task, inconsistent order detection, to explicitly capture the flow of conversation in dialogues. Given a sampled utterance pair triple, the task is to predict whether it is ordered or misordered. Then we propose a sampling-based self-supervised network SSN to perform the prediction with sampled triple references from previous dialogue history. Furthermore, we design a joint learning framework where SSN can guide the dialogue systems towards more coherent and relevant dialogue learning through adversarial training. We demonstrate that the proposed methods can be applied to both open-domain and task-oriented dialogue scenarios, and achieve the new state-of-the-art performance on the OpenSubtitiles and Movie-Ticket Booking datasets.

研究动机与目标

• 为解决神经对话系统中因忽略对话历史的序列顺序而导致的不连贯和单调话语生成问题。
• 指出话语的序列顺序是对话连贯生成中至关重要但常被忽视的信号。
• 提出一种自监督任务——一致顺序检测，显式建模该顺序信号以提升对话学习效果。
• 设计一种基于采样的网络（SSN），缓解长对话历史编码中的遗忘问题。
• 通过联合对抗性学习将SSN集成到对话训练中，使生成的回应更具连贯性和多样性。

提出的方法

• 提出一种自监督任务：不一致顺序检测，模型需判断采样的话语三元组是否为正确排序或错序。
• 设计一种基于采样的自监督网络（SSN），利用从对话历史中随机采样的话语三元组作为上下文参考，以近似完整历史。
• 使用双向LSTM编码单个话语，另一双向LSTM对三元组进行推理，随后通过多层感知机（MLP）进行最终分类。
• 通过交替对抗性训练将SSN集成到对话训练中，使SSN输出作为判别信号，引导回应生成器。
• 在开放域和任务导向型对话系统中采用相同架构，证明其泛化能力与可扩展性。
• 在序列生成（如OpenSubtitles）和策略学习（如Movie-Ticket Booking）设置中均应用该方法，均取得一致性能提升。

实验结果

研究问题

• RQ1 在对话中建模话语的序列顺序是否能提升生成回应的连贯性与多样性？
• RQ2 基于话语顺序检测的自监督任务如何在无需显式标注的情况下提升对话生成性能？
• RQ3 基于采样的方法能否有效近似长对话历史，并减少序列建模中的遗忘问题？
• RQ4 通过对抗性训练集成顺序检测信号，是否能提升任务导向型设置下的对话策略学习？
• RQ5 所提方法是否能在开放域与任务导向型对话系统之间实现良好泛化？

主要发现

• 所提方法在OpenSubtitles数据集上达到最先进性能，在自动评估与人工评估中均优于先前最先进方法。
• 在Movie-Ticket Booking数据集上，基于SSN判别器增强的D3Q代理（D3Q-SSN）在所有规划步骤中均优于原始D3Q，尤其在多轮对话设置中提升显著。
• 人工评估显示回应质量显著提升，尤其在多轮对话中，该方法在65%的案例中优于基线模型。
• 模型在无需显式多样性正则化的情况下生成更多样化的回应，表明顺序感知生成可自然促进多样性。
• 基于SSN的判别器能有效过滤低质量的模拟用户交互，减少D3Q在规划步数增加时的性能下降。