[论文解读] Understanding Self-Attention of Self-Supervised Audio Transformers

Shu-Wen Yang, Andy T. Liu+1 more|arXiv (Cornell University)|Jun 5, 2020

Speech Recognition and Synthesis参考文献 32被引用 4

一句话总结

本文通过将自注意力头分类为全局型、垂直型和对角线型，分析了自监督语音变换器（SATs）中的自注意力机制，发现对角线注意力在音素分类中最为关键。通过可视化、基于熵的全局度量重要性排序以及剪枝策略，作者表明移除全局或长程注意力头可在不损失准确率的情况下提升性能与推理速度，尤其在话语级说话人识别任务中效果显著。

ABSTRACT

Self-supervised Audio Transformers (SAT) enable great success in many downstream speech applications like ASR, but how they work has not been widely explored yet. In this work, we present multiple strategies for the analysis of attention mechanisms in SAT. We categorize attentions into explainable categories, where we discover each category possesses its own unique functionality. We provide a visualization tool for understanding multi-head self-attention, importance ranking strategies for identifying critical attention, and attention refinement techniques to improve model performance.

研究动机与目标

• 理解自监督语音变换器（SATs）中自注意力头的功能角色，尽管其在自动语音识别（ASR）等任务中表现优异，但该问题仍缺乏深入研究。
• 为SATs中的多头自注意力机制开发可解释性工具，包括可视化、分类与重要性排序。
• 探究全局和长程注意力头对语音与说话人表征学习是否有益或有害。
• 通过移除或约束不重要的注意力头，优化SAT表征，提升推理速度与模型效率。
• 建立一种优于标准权重排序的系统性注意力头剪枝方法。

提出的方法

• 将自注意力头分类为三种功能类型：全局型（分布平坦）、垂直型（集中于特定音素）和对角线型（聚焦于±t邻居或音素边界）。
• 开发一种可视化工具，用于分析注意力图并识别隐式操作，如忽略或与音素边界的相关性。
• 提出一种基于注意力分布熵的全局度量，用于对注意力头重要性进行排序，其性能优于简单的注意力权重排序。
• 应用两种剪枝策略：基于全局度量的头剪枝，以及通过限制注意力范围r的区间剪枝。
• 在LibriSpeech数据集上训练并评估三种SAT模型（M3、M6、M9），采用不同的连续掩码长度（C_num = 3, 6, 9），以评估不同设置下的鲁棒性。
• 使用音素关系图（PRMs）分析注意力头行为，验证具有“忽略”操作的头比仅具有高注意力权重的头更为关键。

Figure 1: Attention maps of heads favored by G, V, D, visualized with the same utterance. (a)(c)(e) are average cases; (b)(d)(f) are extreme cases found by maximizing the metrics.

实验结果

研究问题

• RQ1 自监督语音变换器中，不同类型的自注意力头发挥何种功能角色？
• RQ2 如何解释并可视化SATs中注意力机制的隐式操作？
• RQ3 在音素分类和说话人识别等下游任务中，哪些注意力头最为关键？
• RQ4 移除全局或长程注意力头是否能提升模型性能与推理速度？
• RQ5 通过剪枝优化注意力机制，能否在降低计算成本的同时提升表征质量？

主要发现

• 对角线注意力头对音素分类最为关键，剪枝前24个对角线头会导致性能最大降幅。
• 垂直型与全局型注意力头对语音结构有害，剪枝它们可提升音素分类准确率。
• 基于全局度量的重要性排序优于注意力权重排序，因其能更准确识别出具有有意义操作（如忽略）的头。
• 剪枝全局头可在音素分类任务中带来性能提升，并显著加快推理速度，尤其在话语级说话人识别任务中效果明显。
• 区间剪枝表明，长程注意力并非语音表征所必需，限制注意力范围可提升效率且不造成显著准确率损失。
• 作者在所有任务中实现超过50%的注意力头剪枝而无性能下降，证明了显著的效率提升。

Figure 2: Four images on the left side are plotted with the same utterance. (a) a block diagonal attention map. (b) a block diagonal map plotted with true phoneme boundaries. Two orange dotted lines show two examples of boundaries. (c) similarity matrix for (a). (d) similarity matrix for MFCCs. (e)