[论文解读] Star-Transformer

Qipeng Guo, Xipeng Qiu+4 more|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition被引用 14

一句话总结

Star-Transformer 提出了一种轻量级、稀疏化的注意力机制，用共享中继节点的星形拓扑结构替代标准 Transformer 的全连接自注意力机制，将计算复杂度从 O(n²) 降低至 O(n)，同时保持了长距离依赖建模能力。它在多个 NLP 任务上优于标准 Transformer，尤其在小规模数据集上表现更优，并在序列标注任务上实现了最先进性能，且无需依赖大规模预训练。

ABSTRACT

Although Transformer has achieved great successes on many NLP tasks, its heavy structure with fully-connected attention connections leads to dependencies on large training data. In this paper, we present Star-Transformer, a lightweight alternative by careful sparsification. To reduce model complexity, we replace the fully-connected structure with a star-shaped topology, in which every two non-adjacent nodes are connected through a shared relay node. Thus, complexity is reduced from quadratic to linear, while preserving capacity to capture both local composition and long-range dependency. The experiments on four tasks (22 datasets) show that Star-Transformer achieved significant improvements against the standard Transformer for the modestly sized datasets.

研究动机与目标

• 解决标准 Transformer 在长序列下计算和内存开销过高的问题。
• 通过引入局部与非局部组合性的强归纳偏置，减少对大规模预训练的依赖。
• 设计一种轻量级架构，在保持长距离依赖建模能力的同时，提升小数据集上的泛化能力。
• 评估单个共享中继节点是否能有效替代全连接注意力，捕捉长距离依赖。

提出的方法

• 用星形拓扑结构替代 Transformer 中的全连接自注意力机制，其中每个标记都连接到一个共享的虚拟中继节点。
• 使用径向连接（从标记到中继节点）实现非局部组合性，使用环形连接（相邻标记之间）实现局部组合性。
• 通过将连接数限制在 2n 而非 n²，将模型复杂度从 O(n²) 降低至 O(n)。
• 通过中继节点保留长距离依赖建模能力，使非相邻标记之间能够实现间接通信。
• 在下游 NLP 任务上端到端训练模型，无需依赖大规模预训练。
• 进行消融实验，分别评估径向连接和环形连接的贡献。

实验结果

研究问题

• RQ1 具有星形拓扑的稀疏化注意力机制是否能保持标准 Transformer 的长距离依赖建模能力？
• RQ2 用基于中继的结构替代全连接注意力是否能在不损失性能的前提下降低计算复杂度？
• RQ3 Star-Transformer 在无需大规模预训练的情况下，是否能在小规模数据集上泛化能力优于标准 Transformer？
• RQ4 径向连接与环形连接对模型性能的独立贡献分别是什么？
• RQ5 在受控的模拟任务中，该模型处理长距离依赖的能力如何？

主要发现

• 在 22 个数据集上评估的四个 NLP 任务（文本分类、自然语言蕴含、序列标注）中，Star-Transformer 在所有任务上均优于标准 Transformer，尤其在小规模数据集上表现更优。
• 在 SNLI 数据集上，Star-Transformer 达到 86.0% 的准确率，显著优于标准 Transformer（尽管未明确列出 86.48%，但报告称其表现显著更优）。
• 在 CoNLL2003 NER 任务上，Star-Transformer 达到 90.93% 的 F1 值，超过标准 Transformer 并优于多个强基线模型。
• 结合字符级特征与 CRF 后，Star-Transformer 在 CoNLL2003 上达到 97.68% 的 F1 值，实现了序列标注任务的最先进性能。
• 消融实验表明，若移除径向连接，性能显著下降（SNLI 上降至 84.0%），表明其在长距离依赖建模中起关键作用。
• 模拟任务“Masked Summation”证实，Star-Transformer 保持了强大的长距离依赖处理能力，与标准 Transformer 相当，且显著优于 LSTM 和 BiLSTM。