[论文解读] Visualizing Attention in Transformer-Based Language Representation Models

Jesse Vig|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling被引用 33

一句话总结

This paper presents an open-source tool to visualize multi-head self-attention in Transformer models, with three views (attention-head, model, neuron) demonstrated on GPT-2 and BERT, plus use cases for bias detection and pattern analysis.

ABSTRACT

We present an open-source tool for visualizing multi-head self-attention in Transformer-based language representation models. The tool extends earlier work by visualizing attention at three levels of granularity: the attention-head level, the model level, and the neuron level. We describe how each of these views can help to interpret the model, and we demonstrate the tool on the BERT model and the OpenAI GPT-2 model. We also present three use cases for analyzing GPT-2: detecting model bias, identifying recurring patterns, and linking neurons to model behavior.

研究动机与目标

• 引入一个用于 Transformer 自注意力的开源可视化工具。
• 将先前的可视化工作扩展到仅编码器和仅解码器的模型（BERT 和 GPT-2）。
• 提供三种视图（注意力头、模型、神经元）来解释注意力和模型行为。
• 在 GPT-2 上演示用于偏见检测、重复模式以及将神经元与行为联系起来的用例。

提出的方法

• 将 Tensor2Tensor 风格的注意力可视化适配到 GPT-2 和 BERT 架构。
• 实现三种视图：注意力头视图、模型视图和神经元视图。
• 将注意力可视化为令牌到令牌的连接，使用颜色编码的头和加权线。
• 暴露查询和值得的神经元级轨迹，显示注意力的计算过程（q、k、q×k、q·k、Softmax）。
• 提供按层、头和句子进行交互式筛选，以揭示模式和潜在偏见。

实验结果

研究问题

• RQ1 如何在不同粒度上有效可视化 GPT-2 和 BERT 的多头自注意力？
• RQ2 通过注意力可视化在 Transformer 模型中可以识别出哪些模式和偏见？
• RQ3 神经元级检验能否揭示个别神经元与注意力行为之间的联系？
• RQ4 可视化是否有助于解释重复出现的注意力模式以及潜在的空注意力或基于距离的注意力？

主要发现

• 该工具实现了在 GPT-2 和 BERT 上按头、按模型、按神经元粒度的注意力模式可视化。
• 注意力头显示词汇模式、指代关系样的行为，以及在 BERT 和 GPT-2 中的句对交互。
• 模型视图揭示重复出现的模式，如空注意力主要集中在第一个令牌。
• 神经元视图跟踪特定神经元如何通过 q、k 及它们的乘积贡献于注意力，从而有可能通过操纵来改变行为。
• 用例展示潜在的偏见检测、重复的注意力模式，以及将神经元与模型行为联系起来。