[论文解读] Negative Training for Neural Dialogue Response Generation

Tianxing He, James Glass|arXiv (Cornell University)|Mar 6, 2019

Topic Modeling参考文献 30被引用 5

一句话总结

本文提出Negative Training，一种两阶段框架，能够识别预训练对话模型中诸如恶意或通用输出等不良响应，并利用这些响应作为负样本信号进行微调。该方法显著降低了恶意响应的命中率，同时在不降低整体响应质量的前提下提升了响应多样性。

ABSTRACT

Although deep learning models have brought tremendous advancements to the field of open-domain dialogue response generation, recent research results have revealed that the trained models have undesirable generation behaviors, such as malicious responses and generic (boring) responses. In this work, we propose a framework named "Negative Training" to minimize such behaviors. Given a trained model, the framework will first find generated samples that exhibit the undesirable behavior, and then use them to feed negative training signals for fine-tuning the model. Our experiments show that negative training can significantly reduce the hit rate of malicious responses, or discourage frequent responses and improve response diversity.

研究动机与目标

• 解决预训练神经对话响应生成器中的不良行为，例如生成恶意或通用响应。
• 提出一种新颖的训练范式——Negative Training，将问题输出视为负样本用于微调。
• 通过最小化生成有害或重复响应的可能性，提升模型安全性与响应多样性。
• 评估负样本训练是否能在不损害响应质量的前提下纠正模型行为。
• 探索利用释义模型和测试列表进行负样本训练的泛化与增强潜力。

提出的方法

• 该框架首先使用预定义标准，从预训练模型中识别出表现出不良行为（如攻击性语言或重复）的输入-输出对。
• 将这些识别出的“不良”响应作为负样本训练示例，并采用新目标函数对模型进行微调。
• 负样本训练目标最小化不良行为的期望风险，定义为 E[x∼Ptest]E[y∼Pθ(y|x)]c(x,y)，其中当输出 y 为不良时 c(x,y)=1。
• 推理过程中使用贪婪解码，并采用标准最大似然估计（MLE）微调结合负样本，以抑制未来生成此类响应。
• 利用释义模型对负样本训练列表进行增强，以提升对不良行为的泛化能力和覆盖范围。
• 该框架在三个数据集（Ubuntu、Switchboard 和 OpenSubtitles）上进行评估，结合自动指标与人工评价。

实验结果

研究问题

• RQ1 Negative Training能否有效降低神经对话系统中恶意响应的频率？
• RQ2 Negative Training能否在保持响应质量的同时减少通用或重复响应的发生？
• RQ3 与标准MLE微调相比，Negative Training在响应多样性和安全性方面表现如何？
• RQ4 Negative Training能否泛化到未见过的输入？当结合释义增强的负样本时，其有效性如何？
• RQ5 Negative Training是否会损害生成响应的整体流畅性或连贯性？

主要发现

• 在Ubuntu数据集上，Negative Training将恶意响应命中率从基线的14.0%降低至21.3%，表明安全性显著提升。
• 在Switchboard数据集上，恶意响应命中率从18.3%降至36.4%，表明在不同领域中均保持一致的改进效果。
• 人工评估显示响应质量无显著下降，Ubuntu数据集上64.6%的响应优于基线。
• 该方法有效抑制了高频响应，提升了响应多样性，自动指标与人工评分均予以证实。
• 利用释义模型增强负样本训练列表，提升了方法的泛化能力与有效性。
• Negative Training被证明与GAN方法具有互补性，尽管单纯GAN方法在实验中表现不佳。