[论文解读] SG-Net: Syntax Guided Transformer for Language Representation

Zhuosheng Zhang, Yuwei Wu+4 more|arXiv (Cornell University)|Dec 27, 2020

Topic Modeling被引用 4

一句话总结

该论文提出SG-Net，一种语法引导的Transformer架构，通过将句法依存结构整合到自注意力机制中，增强语言表征。通过引入一种语法驱动的输出意图（SDOI）掩码以引导注意力，SG-Net提高了对语言学相关词元跨度的关注度，在机器阅读理解、自然语言蕴含和神经机器翻译任务中实现了最先进性能，且仅对架构进行了最小改动。

ABSTRACT

Understanding human language is one of the key themes of artificial intelligence. For language representation, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy texts and getting rid of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanisms for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. The proposed SG-Net is applied to typical Transformer encoders. Extensive experiments on popular benchmark tasks, including machine reading comprehension, natural language inference, and neural machine translation show the effectiveness of the proposed SG-Net design.

研究动机与目标

• 通过将句法结构作为显式引导，提升基于Transformer模型的注意力机制的精确度。
• 通过聚焦于语言学相关的词依赖关系，解决长而复杂文本中注意力机制的噪声与非结构化问题。
• 开发一种轻量级、即插即用的解决方案，增强预训练模型（如BERT）而无需从头开始微调。
• 验证语法引导注意力在多种NLP任务（如阅读理解、自然语言蕴含和翻译）中的有效性与泛化能力。

提出的方法

• 从句法依存分析中提取语法驱动的输出意图（SDOI）掩码，用于约束自注意力矩阵。
• 构建一种双上下文架构，融合原始自注意力表征与语法引导的注意力输出。
• 将SDOI掩码应用于自注意力层，以修改注意力分数，确保注意力聚焦于句法相关的词对。
• 以预训练的BERT作为基础编码器，并添加一个额外层，应用SDOI掩码到注意力机制中，实现即插即用的集成。
• 提前离线处理句法分析，避免对核心Transformer架构进行重新训练或修改。
• 采用双注意力机制，同时保留标准注意力与语法引导的表征，以提升上下文理解能力。

实验结果

研究问题

• RQ1 句法依存结构能否提升基于Transformer模型中注意力机制的准确率与可解释性？
• RQ2 语法引导的注意力对下游NLP任务（如机器阅读理解与自然语言蕴含）的性能有何影响？
• RQ3 轻量级、即插即用的模块能否在不改变架构或重新训练的前提下增强BERT等预训练模型？
• RQ4 语法引导的注意力在多大程度上减少了对长而复杂句子中无关或噪声词的关注？
• RQ5 当使用弱或不完善的句法解析器时，该方法的鲁棒性如何？

主要发现

• SG-Net在机器阅读理解基准测试中取得显著提升，优于标准BERT及其他强基线模型。
• 该模型在多个任务中均表现出一致的性能增益，包括自然语言蕴含与神经机器翻译，展现出强大的泛化能力。
• 语法引导的注意力机制有效减少了对无关词的关注，尤其在长且复杂的输入序列中表现明显。
• 双上下文架构能有效平衡原始表征与语法引导的表征，提升模型鲁棒性。
• 即使使用弱句法解析器，双注意力设计也能缓解错误传播并保持高性能。
• 该方法轻量且易于适配现有Transformer模型，仅需微调即可应用，无需从头开始训练。