[论文解读] Variational Memory Encoder-Decoder

Hung Lê, Truyen Tran+2 more|arXiv (Cornell University)|Jul 26, 2018

Topic Modeling被引用 11

一句话总结

本论文提出变分记忆编码器-解码器（VMED），一种新颖的序列生成模型，通过将外部记忆与变分推断相结合，以建模对话响应中的潜在可变性。通过将记忆槽视为潜在空间中高斯混合模型（MoG）的模式，VMED能够捕捉多样化的说话者意图与情绪，在多个对话数据集上实现了最先进的性能，BLEU分数显著提升，且生成结果在多样性方面表现更优。

ABSTRACT

Introducing variability while maintaining coherence is a core task in learning to generate utterances in conversation. Standard neural encoder-decoder models and their extensions using conditional variational autoencoder often result in either trivial or digressive responses. To overcome this, we explore a novel approach that injects variability into neural encoder-decoder via the use of external memory as a mixture model, namely Variational Memory Encoder-Decoder (VMED). By associating each memory read with a mode in the latent mixture distribution at each timestep, our model can capture the variability observed in sequential data such as natural conversations. We empirically compare the proposed model against other recent approaches on various conversational datasets. The results show that VMED consistently achieves significant improvement over others in both metric-based and qualitative evaluations.

研究动机与目标

• 解决开放域与封闭域对话系统中生成多样化且连贯响应的挑战。
• 克服确定性模型及标准变分自编码器模型在生成中产生通用化或离题输出的局限性。
• 采用结构化、内存增强的方法，对序列数据中的潜在可变性（如说话者情绪、意图与语言风格）进行建模。
• 将记忆作为潜在空间的混合模型进行整合，实现多种响应生成模式。
• 在响应生成任务中，同时提升基于指标与定性评估的性能表现。

提出的方法

• VMED采用内存增强的编码器-解码器架构，配备可微分的外部记忆，以DNC（可微神经计算机）作为记忆控制器。
• 模型在潜在空间中引入高斯混合模型（MoG），其中每个高斯分量对应于每个时间步读取的一个记忆槽。
• 每次记忆读取均构成潜在分布中的一个模式，使模型能够捕捉多种响应风格或意图。
• 潜在变量分布通过变分近似方法建模KL散度，采用松弛边界以支持潜在空间中的MoG。
• 训练采用随机梯度变分贝叶斯（SGVB）框架，并结合KL退火以稳定优化过程。
• 解码器使用多个读取头访问记忆槽，由这些读取结果导出的潜在变量引导生成多样化且上下文连贯的响应。

实验结果

研究问题

• RQ1 外部记忆能否被有效用于建模对话等序列生成任务中的潜在可变性？
• RQ2 通过记忆槽将潜在空间建模为高斯混合模型，如何提升响应的多样性与连贯性？
• RQ3 所提出的VMED模型是否在自动评估与人工评估指标上均优于标准自编码器与内存增强模型？
• RQ4 记忆模式数量（K）的变化对响应质量与多样性有何影响？
• RQ5 该模型能否在多样化的对话数据集中生成上下文相关且非平凡的响应？

主要发现

• 在Cornell电影对话语料库上，VMED在K=4时取得12.3的BLEU-4分数，显著优于Seq2Seq（9.5）、Seq2Seq-att（9.2）与DNC（9.0）。
• 在OpenSubtitles数据集上，VMED在K=3时取得12.9的BLEU-4分数，超越Seq2Seq（5.4）、Seq2Seq-att（6.5）与CVAE（6.6）。
• 在LiveJournal（LJ）数据集上，VMED在K=3时取得9.8的BLEU-4分数，优于Seq2Seq（6.4）、DNC（7.2）与CVAE（6.0）。
• 在Reddit评论数据集上，VMED在K=3时取得6.4的BLEU-4分数，显著优于Seq2Seq（3.3）、Seq2Seq-att（2.4）与CVAE（2.8）。
• 定性分析表明，与基线模型相比，VMED生成的响应更具多样性、上下文相关性且无冗余。
• 消融实验显示，增加记忆模式数量（K）可提升性能，直至某一点，其中K=4在多数数据集上表现最佳。