[论文解读] Understanding Multi-Head Attention in Abstractive Summarization

Joris Baan, Maartje ter Hoeve+3 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 37被引用 9

一句话总结

本文研究了在抽取式摘要模型中多头注意力机制的可解释性，提出了用于分析头专业化程度的度量方法，并评估了通过 sparsemax 实现的稀疏性以及剪枝的影响。研究发现，尽管注意力头在相对位置、命名实体和句法结构方面表现出专业化特征，但整体上仍存在大量冗余；sparsemax 虽然提升了可解释性度量指标，但也使得剪枝更加彻底，这引发了关于强制稀疏性是否真正增强了透明度的疑问。

ABSTRACT

Attention mechanisms in deep learning architectures have often been used as a means of transparency and, as such, to shed light on the inner workings of the architectures. Recently, there has been a growing interest in whether or not this assumption is correct. In this paper we investigate the interpretability of multi-head attention in abstractive summarization, a sequence-to-sequence task for which attention does not have an intuitive alignment role, such as in machine translation. We first introduce three metrics to gain insight in the focus of attention heads and observe that these heads specialize towards relative positions, specific part-of-speech tags, and named entities. However, we also find that ablating and pruning these heads does not lead to a significant drop in performance, indicating redundancy. By replacing the softmax activation functions with sparsemax activation functions, we find that attention heads behave seemingly more transparent: we can ablate fewer heads and heads score higher on our interpretability metrics. However, if we apply pruning to the sparsemax model we find that we can prune even more heads, raising the question whether enforced sparsity actually improves transparency. Finally, we find that relative positions heads seem integral to summarization performance and persistently remain after pruning.

研究动机与目标

• 评估抽取式摘要模型中的多头注意力机制是否可作为可靠的可解释性机制。
• 识别注意力头在摘要生成过程中对哪些特定语言和结构模式（如句法、命名实体、相对位置）表现出专业化特征。
• 评估通过 sparsemax 强制实现稀疏性是否能提升注意力头的可解释性和忠实度。
• 研究剪枝对 softmax 和 sparsemax 模型中注意力头性能与可解释性的影响。
• 确定注意力头是否真正对模型性能不可或缺，还是存在冗余，从而挑战其透明性的固有假设。

提出的方法

• 提出三种新的可解释性度量指标：POS-KL（句法专业化度量）、NE-Ratio（命名实体语义聚焦度量）以及相对位置注意力评分。
• 采用消融实验与剪枝方法，评估在 Transformer 模型中移除单个注意力头对性能的影响。
• 用 sparsemax 替代标准的 softmax 激活函数，以强制生成更稀疏的注意力分布，从而提升可解释性。
• 训练并评估基于 sparsemax 的 Transformer 模型（Sparse-TL），并与基线 softmax 模型在 ROUGE 指标上进行对比。
• 使用定量度量指标评估剪枝与消融后注意力头的专业化程度及性能稳定性。
• 分析编码器与解码器各层中注意力头的行为，重点关注剪枝后专业化头的持久性。

实验结果

研究问题

• RQ1 在抽取式摘要模型中，单个多头注意力头在句法、命名实体或相对位置等特定语言模式上的专业化程度如何？
• RQ2 将 softmax 激活替换为 sparsemax 后，对注意力头的可解释性和忠实度有何影响？
• RQ3 剪枝注意力头是否会导致显著的性能下降？若无，则这表明注意力头存在何种冗余性？
• RQ4 在剪枝后，哪些类型的注意力头（如相对位置、句法、语义类）对摘要性能最为关键？
• RQ5 通过 sparsemax 强制实现的稀疏性是否真正提升了透明度，还是仅使得剪枝更加激进，而未提升可靠性？

主要发现

• 通过所提出的可解释性度量指标发现，抽取式摘要模型中的注意力头在相对位置、特定词性标签以及命名实体方面表现出专业化特征。
• 单个注意力头的消融实验未引起显著性能下降，表明模型中注意力头存在高度冗余。
• 将 softmax 替换为 sparsemax 后，可解释性度量指标得到改善，且在不损失性能的前提下可被消融的头数减少。
• 尽管可解释性有所提升，但 sparsemax 模型允许剪除 64 个头中的 43 个，剪枝比例高于基线模型，表明强制稀疏性可能并未真正增强透明度。
• 在两种模型中，相对位置注意力头在剪枝后仍能持续存在，且始终对性能至关重要，表明其在摘要生成中具有核心作用。
• 在剪枝后仍存活的句法头主要聚焦于单词 'the'，提示部分存活头可能并不代表有意义的摘要生成模式。