[论文解读] Sparse Sequence-to-Sequence Models

Ben Peters, Vlad Niculae+1 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 40被引用 7

一句话总结

本文提出了一种使用新型可微稀疏变换 α-entmax 的稀疏序列到序列模型，该变换基于 Tsallis 熵，是 softmax 和 sparsemax 的推广。通过在注意力层和输出层均用 α-entmax 替代密集的 softmax，模型实现了稀疏对齐和输出概率，提升了可解释性与准确性，同时在低歧义场景下实现了精确的束搜索。该方法在 GPU 上的推理速度接近 softmax，且在形态学词形变化和机器翻译任务中均表现出一致的性能提升。

ABSTRACT

Sequence-to-sequence models are a powerful workhorse of NLP. Most variants employ a softmax transformation in both their attention mechanism and output layer, leading to dense alignments and strictly positive output probabilities. This density is wasteful, making models less interpretable and assigning probability mass to many implausible outputs. In this paper, we propose sparse sequence-to-sequence models, rooted in a new family of $α$-entmax transformations, which includes softmax and sparsemax as particular cases, and is sparse for any $α> 1$. We provide fast algorithms to evaluate these transformations and their gradients, which scale well for large vocabulary sizes. Our models are able to produce sparse alignments and to assign nonzero probability to a short list of plausible outputs, sometimes rendering beam search exact. Experiments on morphological inflection and machine translation reveal consistent gains over dense models.

研究动机与目标

• 解决密集序列到序列模型中为词汇表中所有词项分配非零概率所导致的效率低下与可解释性不足问题。
• 开发一种可微的、稀疏的 softmax 替代方法，在保持模型性能的同时减少对不切实际输出的概率分配。
• 通过将输出概率限制在有限且较小的合理假设集合中，实现精确的束搜索。
• 为 α-entmax 变换提供快速、可扩展的推理算法，尤其适用于大规模词汇量任务。
• 通过仅聚焦于相关源词的稀疏、集中的注意力对齐，提升注意力机制的可解释性。

提出的方法

• 提出 α-entmax，一种基于 Tsallis 熵的可微稀疏概率变换家族，其中 softmax（α=1）和 sparsemax（α=2）为其特例。
• 采用 Fenchel-Young 损失作为 α-entmax 输出层的自然训练目标，支持端到端训练。
• 开发了一种精确的 GPU 优化算法用于 1.5-entmax，尽管具有稀疏性，仍实现了接近 softmax 的推理速度。
• 对于任意 α>1，采用基于二分法的近似算法，确保在大规模词汇量任务中仍具实用性。
• 将 α-entmax 同时应用于注意力机制与输出层，实现稀疏注意力与稀疏输出概率的同步实现。
• 将这些变换集成到标准的基于 RNN 的序列到序列模型中，采用输入馈送机制与全局注意力机制。

实验结果

研究问题

• RQ1 用稀疏、可微的变换替代 softmax 是否能提升序列到序列模型的可解释性与性能？
• RQ2 稀疏输出概率分布是否能在低歧义任务中实现精确的束搜索？
• RQ3 稀疏注意力机制是否能减少计算浪费，并增强对相关源词的关注？
• RQ4 所提出的 α-entmax 变换在大规模词汇量 NLP 任务中是否足够高效，尤其是在 GPU 上？
• RQ5 稀疏注意力与稀疏输出层的结合是否能在多种 NLP 任务中持续带来性能提升？

主要发现

• 1.5-entmax 模型在 de→en 翻译任务中取得了 63.0% 的 BLEU 分数，优于 softmax 和 sparsemax。
• 在形态学词形变化任务中，该模型相比最佳密集基线模型，准确率绝对提升了 1.4%。
• 每个目标词的非零注意力权重平均数从 softmax 的 24.25 降低至 1.5-entmax 的 5.55，显著提升了可解释性。
• 每个时间步的非零输出概率平均数从 softmax 的 17,993 降低至 1.5-entmax 的 16.13，减少了概率质量的浪费。
• 在 GTX 1080 GPU 上，精确的 1.5-entmax 算法每秒可处理 10,500 个目标词，接近 softmax 的 13,000 个/秒。
• 在形态学词形变化任务中，束搜索在许多情况下为精确搜索，仅有三个假设获得非零概率，包括正确答案和一个合理替代答案。