[论文解读] Retrieval-Enhanced Adversarial Training for Neural Response Generation

Qingfu Zhu, Lei Cui+3 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 46被引用 6

一句话总结

本文提出了一种名为检索增强对抗训练（REAT）的新方法，通过将基于检索系统的N-best响应候选整合到对抗训练框架中，改进神经对话生成。通过利用这些候选来训练一个指导生成器的判别器，REAT显著提升了响应的多样性与相关性，在自动评估和人工评估中均优于普通的Seq2Seq模型和传统的对抗训练基线模型。

ABSTRACT

Dialogue systems are usually built on either generation-based or retrieval-based approaches, yet they do not benefit from the advantages of different models. In this paper, we propose a Retrieval-Enhanced Adversarial Training (REAT) method for neural response generation. Distinct from existing approaches, the REAT method leverages an encoder-decoder framework in terms of an adversarial training paradigm, while taking advantage of N-best response candidates from a retrieval-based system to construct the discriminator. An empirical study on a large scale public available benchmark dataset shows that the REAT method significantly outperforms the vanilla Seq2Seq model as well as the conventional adversarial training approach.

研究动机与目标

• 为解决序列到序列模型在生成多样化、信息丰富响应方面的局限性，通过引入外部基于检索的候选响应。
• 为克服现有检索增强生成模型中最大似然估计（MLE）目标与响应质量之间相关性较弱的问题。
• 通过将N-best响应候选作为条件输入，改进对抗训练中的判别器，从而增强其区分真实人类响应的能力。
• 通过学习来自真实检索候选的判别信号，使生成器能够生成更具多样性和上下文相关性的响应。

提出的方法

• REAT框架采用编码器-解码器架构并结合对抗训练，其中生成器负责生成响应，判别器负责评估其真实性。
• 判别器使用真实人类响应和基于检索系统的N-best响应候选进行训练，从而提升其分类准确率和泛化能力。
• 将N-best响应候选作为判别器的参考输入，使其能够学习反映内容多样性和相关性的判别信号。
• 生成器通过学习使判别器误判其生成的响应为真实响应，从而鼓励其整合候选中的信息性和多样性内容。
• 提出两种变体D+和G+，分别消融候选在判别器和生成器中贡献的独立影响，验证联合使用的有效性。
• 模型采用端到端方式训练，损失函数包含对抗损失，并通过自动指标（Dist-1, Dist-2, Originality）和人工评估来衡量响应质量。

实验结果

研究问题

• RQ1 与基于MLE的训练相比，使用检索增强判别器的对抗训练是否能提升响应的多样性和信息性？
• RQ2 将判别器基于N-best响应候选进行条件化，是否能增强其区分真实与生成响应的能力？
• RQ3 检索候选在多大程度上提升了生成器生成多样化且上下文相关响应的能力？
• RQ4 在生成器和判别器中联合使用候选是否优于仅在其中一个组件中使用？
• RQ5 在自动评估和人工评估中，REAT与当前最先进的检索增强和对抗训练方法相比表现如何？

主要发现

• REAT在自动评估和人工评估中均显著优于基线的Seq2Seq模型和传统对抗训练（AL）方法，证明了其有效性。
• 与AL相比，使用REAT时Dist-2得分从0.124提升至0.236，提高了0.112，且具有统计显著性（p < 0.01），表明n-gram多样性得到增强。
• 与基于MLE的检索增强模型相比，Dist-2的提升幅度（0.112）远大于后者（0.062），表明对抗训练能更有效地利用检索候选。
• G+变体（仅在生成器中使用候选）的性能提升大于D+变体（仅在判别器中使用候选），但Ours（两者均使用）达到最佳性能，证明了联合使用的优越性。
• 人工评估显示在信息性和恰当性方面具有高度一致性（kappa > 0.6），证实模型生成了高质量且上下文相关的响应。
• 如图2所示，与基线相比，该模型生成了更多样化且信息丰富的响应，REAT避免了使用通用短语，并成功整合了来自候选的关联内容，如'Unicom'和'Telecom'。