[论文解读] Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees

Jiangang Bai, Yujing Wang+5 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 27被引用 4

一句话总结

Syntax-BERT 提出了一种即插即用的框架，通过将语法树分解为关系特定的自注意力子网络（祖先、后代、兄弟），并共享参数，来增强 BERT、RoBERTa 和 T5 等预训练的 Transformer 模型。该框架引入话题注意力层，动态加权这些子网络，实现了在 GLUE 任务上的稳定性能提升——将 T5-Large 的得分从 86.3 提升至 86.8，且参数增加极少。

ABSTRACT

Pre-trained language models like BERT achieve superior performances in various NLP tasks without explicit consideration of syntactic information. Meanwhile, syntactic information has been proved to be crucial for the success of NLP applications. However, how to incorporate the syntax trees effectively and efficiently into pre-trained Transformers is still unsettled. In this paper, we address this problem by proposing a novel framework named Syntax-BERT. This framework works in a plug-and-play mode and is applicable to an arbitrary pre-trained checkpoint based on Transformer architecture. Experiments on various datasets of natural language understanding verify the effectiveness of syntax trees and achieve consistent improvement over multiple pre-trained models, including BERT, RoBERTa, and T5.

研究动机与目标

• 探究在预训练阶段显式集成语法树是否能提升预训练 Transformer 模型的性能。
• 解决如何高效地将句法结构融入现有预训练检查点而无需从头开始训练的挑战。
• 开发一种方法，在保留预训练知识的同时，选择性地利用句法归纳偏置以提升下游任务表现。
• 通过轻量级、可学习的注意力机制实现任务自适应的句法关系选择。
• 证明该框架在多种预训练模型（包括 BERT、RoBERTa 和 T5）上的泛化能力。

提出的方法

• 基于句法树关系（祖先、后代、兄弟）将标准自注意力机制分解为多个子网络，并支持不同跳数（hop counts）。
• 与预训练模型共享所有子网络参数，以实现从现有检查点的直接迁移。
• 引入话题注意力层，根据输入相关的相关性，计算每个句法子网络的任务特定权重。
• 通过话题注意力得分对所有子网络的表示进行加权求和。
• 利用依存树生成的父节点、兄弟和祖先掩码，定义每个子网络的注意力掩码。
• 以即插即用的方式应用于任何预训练的 Transformer 检查点，避免从头开始训练。

实验结果

研究问题

• RQ1 显式集成语法树是否能提升预训练阶段 Transformer 模型的性能？
• RQ2 是否可能在不从头训练的情况下，高效地向预训练模型注入句法归纳偏置？
• RQ3 不同句法关系（如祖先、兄弟）对下游任务性能的贡献如何？
• RQ4 该框架是否可泛化至包括 BERT、RoBERTa 和 T5 在内的多种预训练模型？
• RQ5 话题注意力机制是否能有效识别并优先选择与特定任务最相关的句法表示？

主要发现

• Syntax-BERT 将 T5-Large 在整体 GLUE 基准上的得分从 86.3 提升至 86.8，证明了其在极低参数开销下的持续性能增益。
• 在结构探针任务中，Syntax-BERT-Large 达到 83.4 的 UUAS 和 0.90 的斯皮尔曼相关系数，优于 BERT-Large（79.8 UUAS，0.86 相关系数）。
• Syntax-RoBERTa-Large 达到 84.6 的 UUAS 和 0.93 的斯皮尔曼相关系数，显著提升了 RoBERTa-Large 的句法知识表征能力。
• 案例研究显示，Syntax-BERT 能够正确识别语法错误（如 "anyone" 后接句号），并通过突出相关句法关系实现定位，而原始 BERT 则失败。
• 当子网络数量较少时，该框架的时间复杂度与 BERT 相同；通过稀疏实现，复杂度可进一步降低至 O(MD_Q E)。
• 消融实验表明，分解机制和话题注意力组件均至关重要，移除任一都会导致性能下降，验证了设计的有效性。