[论文解读] Neural Response Generation with Dynamic Vocabularies

Yu Wu, Wei Wu+4 more|arXiv (Cornell University)|Nov 30, 2017

Topic Modeling被引用 50

一句话总结

论文提出 DVS2S—a 动态词汇序列到序列模型，用于开放域对话，(对输入进行)联合学习每个输入的词汇表与回复，以提升质量与解码效率。

ABSTRACT

We study response generation for open domain conversation in chatbots. Existing methods assume that words in responses are generated from an identical vocabulary regardless of their inputs, which not only makes them vulnerable to generic patterns and irrelevant noise, but also causes a high cost in decoding. We propose a dynamic vocabulary sequence-to-sequence (DVS2S) model which allows each input to possess their own vocabulary in decoding. In training, vocabulary construction and response generation are jointly learned by maximizing a lower bound of the true objective with a Monte Carlo sampling method. In inference, the model dynamically allocates a small vocabulary for an input with the word prediction model, and conducts decoding only with the small vocabulary. Because of the dynamic vocabulary mechanism, DVS2S eludes many generic patterns and irrelevant words in generation, and enjoys efficient decoding at the same time. Experimental results on both automatic metrics and human annotations show that DVS2S can significantly outperform state-of-the-art methods in terms of response quality, but only requires 60% decoding time compared to the most efficient baseline.

研究动机与目标

• 通过放弃固定解码词汇表，改用与输入相关的词汇表来减少噪声和通用回复的动机。
• 提出一个动态词汇 S2S 框架，联合学习词汇构建与回复生成。
• 在大规模对话数据上展示动态词汇能提升回复质量并减少解码时间。

提出的方法

• 用基于 biGRU 的编码器对输入进行编码以获得隐藏表示。
• 对每个输入，从条件化于输入的多变量伯努利分布中采样目标词汇表 T。
• 仅使用所选的词汇表 T 进行解码，采用注意力机制的解码器和对 T 的投影。
• 将训练表述为最大化变分下界，并通过对 T 的 S 次采样进行蒙特卡罗采样来优化。
• 将词汇表分为函数词（始终包含）和内容词（β 参数依赖编码器状态）。
• 联合学习词汇选择与回复生成，使解码使用一个更小、相关性更强的词汇表。

实验结果

研究问题

• RQ1 一个逐输入的动态词汇表是否可以提升开放域回复的相关性与信息量？
• RQ2 词汇构建与回复生成的联合学习是否比分开训练得到更好表现？
• RQ3 动态词汇大小对回复质量和解码效率有何影响？

主要发现

• DVS2S 在自动评测指标（如 BLEU-1、Embedding Average 与 Distinct-1）上显著优于基线。
• DVS2S 实现更高的 Distinct-1 与 Distinct-2，表明更具多样性与信息量的回复。
• 人工评估显示 DVS2S 比基线更具信息性且无效回复更少。
• 与同一设置下最有效的基线相比，DVS2S 将解码时间减少约 40%。
• 大约 1000 词的顶层内容词词汇表覆盖测试回复的 ground-truth 词约 80%。
• 词汇构建与回复生成的联合学习相较于单独训练的变体（S-DVS2S）有改进。