[论文解读] Recurrent Neural Network-Based Semantic Variational Autoencoder for Sequence-to-Sequence Learning

Myeongjun Jang, Seungwan Seo+1 more|arXiv (Cornell University)|Feb 9, 2018

Topic Modeling参考文献 35被引用 7

一句话总结

本文提出 RNN-SVAE，一种序列到序列模型，通过整合编码器最终状态与所有隐藏状态之间注意力计算得到的文档信息向量，增强全局潜在特征学习。通过将该向量与最终 RNN 隐状态结合，模型提升了语义表征的变分推断，相较于 RNN-AE 和 RNN-VAE 基线模型，在语言建模、缺失词补全和释义识别任务中均取得更优性能。

ABSTRACT

Sequence-to-sequence (Seq2seq) models have played an important role in the recent success of various natural language processing methods, such as machine translation, text summarization, and speech recognition. However, current Seq2seq models have trouble preserving global latent information from a long sequence of words. Variational autoencoder (VAE) alleviates this problem by learning a continuous semantic space of the input sentence. However, it does not solve the problem completely. In this paper, we propose a new recurrent neural network (RNN)-based Seq2seq model, RNN semantic variational autoencoder (RNN--SVAE), to better capture the global latent information of a sequence of words. To reflect the meaning of words in a sentence properly, without regard to its position within the sentence, we construct a document information vector using the attention information between the final state of the encoder and every prior hidden state. Then, the mean and standard deviation of the continuous semantic space are learned by using this vector to take advantage of the variational method. By using the document information vector to find the semantic space of the sentence, it becomes possible to better capture the global latent feature of the sentence. Experimental results of three natural language tasks (i.e., language modeling, missing word imputation, paraphrase identification) confirm that the proposed RNN--SVAE yields higher performance than two benchmark models.

研究动机与目标

• 为解决基于 RNN 的自编码器因依赖最终隐藏状态而导致捕捉全局潜在特征能力受限的问题。
• 通过学习更能反映句子整体语义的鲁棒连续语义空间，改进序列建模中的变分自编码。
• 通过利用基于注意力的文档向量，降低潜在表示对微小扰动的敏感性。
• 提升在需要全局语义理解的自然语言处理任务（如释义识别和语言建模）中的性能。
• 验证在变分自编码框架中结合双向 RNN 与基于注意力的文档向量的有效性。

提出的方法

• 模型通过计算最终编码器隐藏状态与序列中每个先前隐藏状态之间的注意力权重，构建文档信息向量。
• 将该文档信息向量与双向 RNN 编码器的最终隐藏状态结合，形成全局潜在向量。
• 利用组合向量通过变分推断学习潜在空间的均值与标准差，支持随机采样以获得鲁棒表征。
• 解码器使用采样得到的潜在向量重建输入序列，实现端到端训练与重构损失优化。
• 注意力机制确保词的重要性由其与整体句子语义的相关性决定，而非仅受位置偏差影响。
• 所有层应用 dropout，速率为 0.3，以防止使用 Adam 优化器和固定 0.001 学习率训练时的过拟合。

实验结果

研究问题

• RQ1 基于注意力的文档向量能否提升基于 RNN 的变分自编码器中的全局语义表征？
• RQ2 将文档向量与最终 RNN 隐藏状态结合，是否能比仅依赖最终状态更有效地捕捉句子级语义？
• RQ3 在需要全局上下文理解的任务（如释义识别和缺失词补全）中，RNN-SVAE 与 RNN-AE 和 RNN-VAE 相比表现如何？
• RQ4 文档向量在多大程度上降低了潜在表示对输入微小变化的敏感性？
• RQ5 在多个自然语言处理任务中，性能提升是否具有统计显著性？

主要发现

• 在释义识别任务中，RNN-SVAE 相较 RNN-VAE 将整体错误率降低了 23.1% 至 34.8%，展现出显著的性能提升。
• 该模型在误报率方面优于 RNN-AE 和 RNN-VAE，表明其在识别释义对时具有更高的精确度。
• 在语言建模与缺失词补全任务中，RNN-SVAE 表现优于 RNN-AE 和 RNN-VAE，尤其在长序列中全局上下文至关重要的场景下优势更明显。
• 对于语义相近的句子，RNN-SVAE 生成的潜在向量表征比 RNN-VAE 更为相似，证实了其更强的语义保持能力。
• 统计假设检验表明，RNN-SVAE 相较 RNN-VAE 的性能提升在 0.01 显著性水平上具有统计显著性。
• 在缺失词补全任务中，RNN-SVAE 对极短句子的性能提升微乎其微，表明当句长可忽略时，全局上下文作用有限。