[论文解读] Neural Variational Inference for Text Processing

Yishu Miao, Lei Yu+1 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling被引用 220

一句话总结

本文提出了一种神经变分推断框架，利用深度神经网络作为推理网络，近似文本生成模型中潜在变量的后验分布。通过应用重参数化梯度，该方法实现了深度潜在变量模型的端到端训练，在文档建模（NVDM）和问答（NASM）任务中均取得了当前最优性能，困惑度更低，准确率更高，优于先前方法。

ABSTRACT

Recent advances in neural variational inference have spawned a renaissance in deep latent variable models. In this paper we introduce a generic variational inference framework for generative and conditional models of text. While traditional variational methods derive an analytic approximation for the intractable distributions over latent variables, here we construct an inference network conditioned on the discrete text input to provide the variational distribution. We validate this framework on two very different text modelling applications, generative document modelling and supervised question answering. Our neural variational document model combines a continuous stochastic document representation with a bag-of-words generative model and achieves the lowest reported perplexities on two standard test corpora. The neural answer selection model employs a stochastic representation layer within an attention mechanism to extract the semantics between a question and answer pair. On two question answering benchmarks this model exceeds all previous published benchmarks.

研究动机与目标

• 解决复杂、非共轭的深度潜在变量模型在文本生成任务中贝叶斯推断的不可靠性问题。
• 开发一种可扩展且高效的推理框架，以神经网络替代解析的变分近似。
• 在无监督（文档建模）和有监督（问答）自然语言处理任务中提升性能。
• 通过随机推断有效学习文档和问答对的连续分布式表示。
• 证明该框架在不同神经网络架构和自然语言处理任务中的通用性。

提出的方法

• 该框架使用一个以输入文本为条件的深度神经网络（推理网络）来近似潜在变量的真实后验分布。
• 通过重参数化技巧实现对随机潜在变量的反向传播，从而支持使用低方差估计进行基于梯度的优化。
• 生成模型通过随机梯度变分贝叶斯（SGVB）目标进行训练，最大化边缘似然的下界。
• 在文档建模中，NVDM 使用多层感知机（MLP）编码器将词袋输入映射到潜在分布，并使用 softmax 解码器重建词语。
• 在问答任务中，NASM 将随机注意力机制与 LSTMs 结合，其中注意力权重从一个潜在的正态分布中采样。
• 所有模型参数通过反向传播联合训练，每个更新步骤仅需一次蒙特卡洛采样，实现高效 GPU 加速训练。

实验结果

研究问题

• RQ1 神经推理网络能否在文本生成模型中有效近似复杂、非线性的后验分布？
• RQ2 在潜在变量中使用重参数化的随机性是否能提升自然语言处理任务中的训练稳定性和性能？
• RQ3 该框架是否能在无监督文档建模和有监督问答任务中均达到最先进水平？
• RQ4 NASM 中的随机注意力机制相比确定性注意力在答案选择方面有何改进？
• RQ5 变分目标中 KL 散度的正则化在小样本数据集上在多大程度上提升了泛化能力？

主要发现

• NVDM 在 20NewsGroups 和 RCV1-v2 数据集上达到了最低的报告困惑度，优于先前所有模型的文档建模性能。
• NASM 模型在两个问答数据集上均超越了所有先前发表的基准，展示了在答案选择任务中的卓越性能。
• 采用随机注意力的模型学习到了更集中、更聚焦的注意力分布，其预测准确率优于确定性注意力基线。
• 训练过程稳定高效，得益于重参数化技巧和 KL 正则化，梯度方差较低。
• 该框架实现了深度潜在模型的端到端训练，且对模型架构约束极少，可泛化至不同类型的神经网络。
• 推理网络对复杂后验分布的建模能力提升了泛化性能，尤其在小规模训练集上表现更优。