[论文解读] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space

Chunyuan Li, Xiang Gao+5 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 56被引用 11

一句话总结

Optimus 提出了一种大规模、深度的变分自编码器（VAE），用于自然语言处理，其在海量文本数据上预训练了一个通用潜在空间，从而实现了可控的文本生成，并在低资源任务上实现了强大的零样本迁移。通过结合 BERT 和 GPT-2 的优势，Optimus 在 VAE 语言建模方面取得了最先进性能，困惑度低于 GPT-2，并通过潜在向量的算术运算实现了有效的引导式生成。

ABSTRACT

When trained effectively, the Variational Autoencoder (VAE) can be both a powerful generative model and an effective representation learning framework for natural language. In this paper, we propose the first large-scale language VAE model, Optimus. A universal latent embedding space for sentences is first pre-trained on large text corpus, and then fine-tuned for various language generation and understanding tasks. Compared with GPT-2, Optimus enables guided language generation from an abstract level using the latent vectors. Compared with BERT, Optimus can generalize better on low-resource language understanding tasks due to the smooth latent space structure. Extensive experimental results on a wide range of language tasks demonstrate the effectiveness of Optimus. It achieves new state-of-the-art on VAE language modeling benchmarks. We hope that our first pre-trained big VAE language model itself and results can help the NLP community renew the interests of deep generative models in the era of large-scale pre-training, and make these principled methods more practical.

研究动机与目标

• 开发一种大规模、深度的变分自编码器（VAE），用于自然语言，学习一个通用且结构化的句子潜在空间。
• 通过操纵潜在向量实现可控的、引导式文本生成，以克服像 GPT-2 这类自回归模型在高层控制方面的不足。
• 通过学习比 BERT 更平滑、更具泛化能力的潜在空间，提升在低资源语言理解任务上的零样本和少样本性能。
• 证明在大规模文本数据上预训练深度 VAE 可缓解语言 VAE 中的 KL 消散问题，并提升表征质量。
• 通过整合类似 BERT 的编码器与类似 GPT-2 的解码器，并共享潜在空间，将语言理解和生成统一于单一框架之下。

提出的方法

• 在大规模文本语料上使用标准 VAE 目标预训练一个基于 Transformer 的深度 VAE，即从其潜在编码重建输入句子。
• 在潜在空间上使用先验分布（例如标准正态分布）来正则化学习到的表征，确保其平滑性。
• 在推理过程中向解码器注入条件向量，实现无需微调的引导式文本生成，采用潜在向量注入技术。
• 在下游任务（如文本生成、风格迁移和零样本理解）上微调预训练模型。
• 利用潜在空间的解耦与结构化特性，执行算术运算（例如向量加法）以实现语义迁移。
• 将 BERT 的编码器与 GPT-2 的解码器整合为统一架构，复用现有预训练组件，构建可扩展且高效的模型。

实验结果

研究问题

• RQ1 大规模、深度的 VAE 是否能够学习到一种支持生成与理解的通用且结构化的自然语言潜在空间？
• RQ2 在大规模文本数据上进行预训练，如何缓解语言 VAE 中的 KL 消散问题？
• RQ3 潜在向量算术是否能够实现有意义且可解释的句子操作（例如风格迁移、内容转换）？
• RQ4 Optimus 的结构化潜在空间在低资源语言理解任务上是否比 BERT 的表征具有更好的泛化能力？
• RQ5 Optimus 是否能在语言建模方面优于 GPT-2，同时通过潜在编码实现可控生成？

主要发现

• Optimus 在四个标准 VAE 语言建模范式上取得了最先进性能，优于以往基于 VAE 的模型。
• 在标准语言建模范式上，Optimus 的困惑度低于 GPT-2，证明其序列建模能力更优。
• 模型通过潜在向量算术实现了有效的引导式文本生成，例如将情感、主题或主语数量从一个句子迁移到另一个句子。
• 在零样本和少样本语言理解任务上，由于潜在空间更平滑、更具结构性，Optimus 的泛化能力优于 BERT。
• 潜在空间支持通过向量算术实现有意义的句子迁移，例如将主语从单数变为复数，或从日常生活语境转换到体育语境。
• 从信息瓶颈视角证明 VAE 目标，确认 VAE 是一种在表征紧凑性与可用性之间实现平衡的合理方法。