[论文解读] Self-conditioned Embedding Diffusion for Text Generation

Robin Strudel, Corentin Tallec+9 more|arXiv (Cornell University)|Nov 8, 2022

Topic Modeling被引用 21

一句话总结

本文提出 Self-conditioned Embedding Diffusion (SED)，一个在标记嵌入上运行的连续扩散模型，能够实现条件与无条件文本生成，在与自回归模型的对比中具有竞争力的结果，并在加速器上具有潜在的推理效率。

ABSTRACT

Can continuous diffusion models bring the same performance breakthrough on natural language they did for image generation? To circumvent the discrete nature of text data, we can simply project tokens in a continuous space of embeddings, as is standard in language modeling. We propose Self-conditioned Embedding Diffusion, a continuous diffusion mechanism that operates on token embeddings and allows to learn flexible and scalable diffusion models for both conditional and unconditional text generation. Through qualitative and quantitative evaluation, we show that our text diffusion models generate samples comparable with those produced by standard autoregressive language models - while being in theory more efficient on accelerator hardware at inference time. Our work paves the way for scaling up diffusion models for text, similarly to autoregressive models, and for improving performance with recent refinements to continuous diffusion.

研究动机与目标

• 将扩散引入文本作为连续空间的替代离散扩散方法的动机。
• 在标记嵌入空间开发一个连续扩散过程来建模文本。
• 结合自条件化和固定嵌入以改进基于扩散的文本生成。
• 通过跨度掩码实现条件生成与无条件引导，提升条件控制能力。
• 在标准任务上将基于扩散的文本生成与自回归基线进行对比评估。

提出的方法

• 在固定嵌入空间中进行扩散，通过固定嵌入矩阵 E 将标记映射出去。
• 训练去噪网络以在前向-后向扩散过程中对嘈杂嵌入 x_t 进行简化损失下的 x0 预测。
• 使用读出矩阵 R 将去噪后的嵌入映射回标记 logits，同时不更新 E。
• 在采样期间通过将上一次的 x0 估计输入去噪网络来实现自条件化。
• 实现跨度掩码以创建条件/填充任务并实现条件生成。
• 在采样过程中使用无条件与条件预测之间的插值，通过分类器无引导进行引导。

实验结果

研究问题

• RQ1 固定标记嵌入上的连续扩散是否能够实现与自回归模型相媲美的文本生成质量？
• RQ2 自条件化、嵌入选择和跨度掩码如何影响无条件和条件文本生成？
• RQ3 基于扩散的模型能否利用引导改进文本任务的样本保真度？

主要发现

• SED 模型在与相似规模的自回归基线在条件与无条件任务上的样本质量具有竞争力。
• 应用引导（分类器无引导）显著提高了 Sed 模型的样本质量。
• 自条件化和预训练嵌入显著提升了性能和主题连贯性。
• 嵌入维度的增加呈现阈值效应，在达到一定点前有益，超出后可能降解。
• 跨度掩码提升了无条件生成并支持多样化的条件场景。
• 从 1.35e8 参数扩展到 4.20e8 参数时，AR NLL 与人类偏好有所提升，表明模型规模增强带来更强的性能。