[论文解读] Visualizing Attention in Transformer-Based Language models

Jesse Vig|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 3被引用 16

一句话总结

本文介绍了一款开源工具，用于在三种粒度层次上可视化基于Transformer的语言模型中的多头自注意力机制：注意力头、模型架构和单个神经元。通过将该工具应用于BERT和GPT-2，作者展示了其在检测模型偏差、识别重复模式以及将神经元与行为输出关联方面的实用性，从而增强了对注意力机制的可解释性。

ABSTRACT

We present an open-source tool for visualizing multi-head self-attention in Transformer-based language representation models. The tool extends earlier work by visualizing attention at three levels of granularity: the attention-head level, the model level, and the neuron level. We describe how each of these views can help to interpret the model, and we demonstrate the tool on the BERT model and the OpenAI GPT-2 model. We also present three use cases for analyzing GPT-2: detecting model bias, identifying recurring patterns, and linking neurons to model behavior.

研究动机与目标

• 开发一款开源工具，实现对Transformer模型中自注意力机制在多个粒度层次上的可视化。
• 通过在头、模型和神经元层面分析注意力，提升对注意力机制的可解释性。
• 展示该工具在分析模型行为方面的实际应用，例如在GPT-2中检测偏差和识别重复模式。
• 通过注意力分析将特定神经元与可观察到的模型行为关联起来，从而增强对内部模型动态的理解。

提出的方法

• 该工具在注意力头层面进行可视化，展示各个头如何关注输入序列中的标记。
• 通过聚合多个头的注意力模式，提供模型层面的视图，揭示各层之间整体的注意力流向。
• 通过将特定神经元与注意力模式及模型输出关联，实现神经元层面的可视化。
• 通过标准化的注意力矩阵和逐层表示，支持在BERT和GPT-2中对注意力分布进行交互式探索。
• 该框架与现有Transformer模型集成，并通过模块化、可扩展的接口暴露注意力权重。
• 通过事后分析注意力输出实现各种用例，支持检测偏差、识别模式重复性以及发现神经元与行为之间的相关性。

实验结果

研究问题

• RQ1 如何在Transformer模型中有效实现多头自注意力在不同粒度层次上的可视化？
• RQ2 通过在神经元层面分析注意力，能够获得关于模型行为的哪些洞察？
• RQ3 注意力可视化能否帮助检测类似GPT-2这样的语言模型中的偏差？
• RQ4 在GPT-2的多个序列中，注意力分布中出现了哪些重复出现的模式？
• RQ5 如何通过注意力分析将特定神经元与可观察到的模型行为关联起来？

主要发现

• 该工具成功实现了在头、模型和神经元层面的注意力可视化，支持对注意力机制的多尺度解释。
• 在神经元层面的注意力可视化揭示了在GPT-2中对特定语言模式具有持续激活特性的特定神经元。
• 该工具成功检测到GPT-2中与性别和人口统计关联相关的偏差注意力模式。
• 在多个序列中识别出重复出现的注意力模式，表明模型对常见语言结构具有结构化的内部表征。
• 将注意力可视化与神经元层面分析相结合，实现了对特定神经元与模型行为的直接关联，显著提升了模型的可解释性。