[论文解读] Sparse Text Generation

Pedro Henrique Martins, Zita Marinho+1 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 44被引用 4

一句话总结

本文提出 entmax 采样方法，通过使用 entmax 变换在原生稀疏语言模型上进行训练与采样，消除了训练与推理之间的不匹配。该方法在故事生成和对话生成任务中，相比贪婪采样、top-k 采样和核采样，显著提升了文本流畅性、减少了重复、提高了 n-gram 多样性，并在人类评估中表现出更优的一致性与参与度。

ABSTRACT

Current state-of-the-art text generators build on powerful language models such as GPT-2, achieving impressive performance. However, to avoid degenerate text, they require sampling from a modified softmax, via temperature parameters or ad-hoc truncation techniques, as in top-$k$ or nucleus sampling. This creates a mismatch between training and testing conditions. In this paper, we use the recently introduced entmax transformation to train and sample from a natively sparse language model, avoiding this mismatch. The result is a text generator with favorable performance in terms of fluency and consistency, fewer repetitions, and n-gram diversity closer to human text. In order to evaluate our model, we propose three new metrics for comparing sparse or truncated distributions: $ε$-perplexity, sparsemax score, and Jensen-Shannon divergence. Human-evaluated experiments in story completion and dialogue generation show that entmax sampling leads to more engaging and coherent stories and conversations.

研究动机与目标

• 解决神经文本生成中训练（似然最大化）与推理（截断采样）之间的不匹配问题。
• 通过在训练过程中实现原生稀疏性，克服现有解码方法（贪婪、top-k 和核采样）的局限性。
• 为语言建模中的稀疏与截断概率分布开发新的评估框架。
• 通过减少重复并提高多样性，同时保持流畅性与一致性，提升文本生成质量。
• 在故事续写与对话生成任务中，通过自动评估与人类评估均证明其优越性能。

提出的方法

• 应用 entmax 变换将原始 logits 转换为稀疏概率分布，实现在训练与推理过程中均具备原生稀疏性。
• 使用基于 entmax 的可微分损失函数，使模型能够从数据中学习最优稀疏水平，避免事后截断。
• 用 entmax 采样替代标准 softmax 采样，自适应选择与上下文相关的高概率词数，无需手动设置超参数。
• 引入三种新型评估指标：ε-困惑度、sparsemax 分数与 Jensen-Shannon 散度，专为稀疏分布设计。
• 使用 entmax 损失训练并微调基于 Transformer 的语言模型，以优化稀疏输出分布。
• 在多个基准上进行评估：WritingPrompts（故事续写）、Persona-Chat（对话）以及模拟多轮对话。

实验结果

研究问题

• RQ1 使用 entmax 损失训练的原生稀疏语言模型是否能在文本生成质量上超越标准采样方法？
• RQ2 在流畅性、多样性和一致性方面，entmax 采样与 top-k 和核采样相比表现如何？
• RQ3 如 ε-困惑度与 Jensen-Shannon 散度等新型指标是否能有效评估稀疏语言模型？
• RQ4 与现有方法相比，entmax 采样是否能减少重复并提升 n-gram 多样性？
• RQ5 entmax 采样是否能提升开放域对话生成中的人工评估参与度与一致性？

主要发现

• entmax 采样在人类评估中获得最高参与度评分（3.9/5）与一致性评分（3.6/5），显著优于 top-k（3.3/5）与核采样（3.3/5），p < 0.01。
• 在对话模拟中，entmax 生成的对话平均长度为 15.83 轮，包含 13,020 个唯一词汇，优于核采样（10,098 个唯一词汇）与 softmax（11,242 个唯一词汇）。
• 在对话模拟中，entmax 达到最高的 distinct-1（0.6546）与 distinct-2（0.9211）得分，表明其 n-gram 多样性更优。
• entmax 采样实现了最低的 ε-困惑度（17.10）与最高的 sparsemax 分数（0.642），表明其与参考分布的对齐性更佳。
• entmax 保持了高流畅性（4.1/5），与贪婪采样和核采样相当，同时显著提升了参与度与一致性。
• 在故事续写任务中，entmax 减少了重复与离题内容，如 WritingPrompts 数据集中的定性示例所示。