[论文解读] Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing

Rui Yu, Yifeng Li+2 more|arXiv (Cornell University)|Nov 5, 2022

Topic Modeling被引用 4

一句话总结

本文提出Tri-Attention，一种新颖的三重注意力机制，通过显式建模查询、键和上下文之间的交互，提升自然语言处理中的上下文感知表征能力。通过将标准双注意力机制扩展为三维张量运算，Tri-Attention在多个自然语言处理任务（包括句子匹配、对话理解和机器阅读理解）中均超越当前最先进模型，且在非注意力和基于注意力的基线模型上均取得一致性能提升。

ABSTRACT

In natural language processing (NLP), the context of a word or sentence plays an essential role. Contextual information such as the semantic representation of a passage or historical dialogue forms an essential part of a conversation and a precise understanding of the present phrase or sentence. However, the standard attention mechanisms typically generate weights using query and key but ignore context, forming a Bi-Attention framework, despite their great success in modeling sequence alignment. This Bi-Attention mechanism does not explicitly model the interactions between the contexts, queries and keys of target sequences, missing important contextual information and resulting in poor attention performance. Accordingly, a novel and general triple-attention (Tri-Attention) framework expands the standard Bi-Attention mechanism and explicitly interacts query, key, and context by incorporating context as the third dimension in calculating relevance scores. Four variants of Tri-Attention are generated by expanding the two-dimensional vector-based additive, dot-product, scaled dot-product, and bilinear operations in Bi-Attention to the tensor operations for Tri-Attention. Extensive experiments on three NLP tasks demonstrate that Tri-Attention outperforms about 30 state-of-the-art non-attention, standard Bi-Attention, contextual Bi-Attention approaches and pretrained neural language models1.

研究动机与目标

• 为解决标准双注意力机制的局限性，即忽略上下文信息且无法建模查询、键与上下文之间的交互。
• 开发一种通用注意力框架，显式捕捉查询、键与上下文之间的交互，模拟人类的上下文注意力机制。
• 通过将上下文直接整合到注意力计算中，提升句子匹配、对话理解与机器阅读理解等上下文敏感型自然语言处理任务的性能。
• 提供一种灵活可堆叠的架构，支持多种基于不同相关性评分方法（加法、点积、缩放点积、双线性）的变体。

提出的方法

• 提出Tri-Attention机制，通过在注意力计算中引入上下文作为第三个维度，扩展标准双注意力机制，形成查询、键与上下文之间的三重交互。
• 基于张量代数推导出四种Tri-Attention变体：Tri-Attention_Add、Tri-Attention_Dot、Tri-Attention_ScaledDot与Tri-Attention_Bilinear，每种基于不同的相关性评分操作。
• 通过张量运算计算查询、键与上下文之间的相关性得分，构建三维注意力矩阵，实现对序列与上下文交互的联合建模。
• 通过计算上下文与值之间的相关性，引入上下文价值，确保最终输出在语义空间中的一致性。
• 采用可堆叠、模块化的架构（TAN），支持根据不同任务动态调整Tri-Attention层的数量。
• 将Tri-Attention模块嵌入深度神经网络中，用于自然语言处理任务的端到端训练，并通过消融实验与超参数分析验证设计选择的有效性。

实验结果

研究问题

• RQ1 与标准双注意力机制相比，显式建模查询、键与上下文之间的交互是否能提升自然语言处理任务中的注意力性能？
• RQ2 不同的基于张量的相关性评分方法（如加法、点积等）对Tri-Attention机制的性能有何影响？
• RQ3 在注意力计算中将上下文作为第一类组件整合，是否能提升模型在多样化自然语言处理任务中的泛化能力？
• RQ4 不同自然语言处理任务的最优Tri-Attention层数与相关性评分方法分别是什么？
• RQ5 Tri-Attention是否能在上下文敏感型自然语言处理任务中，同时超越非注意力模型与当前最先进预训练语言模型？

主要发现

• Tri-Attention在三个主要自然语言处理任务（句子匹配（LCQMC）、对话（Ubuntu）、阅读理解（RACE））中，超越了30种当前最先进模型，包括非注意力模型、标准双注意力模型、上下文双注意力模型以及预训练语言模型。
• 基于加法的变体（Tri-Attention_Add）表现出更优的稳定性和性能，尤其在识别句子对之间细微语义差异方面表现突出。
• 在LCQMC数据集上，Tri-Attention正确分类了151个双注意力模型与C-BiAttention模型均失败的样本，其中102个为语义不同的负样本对，表明其在模糊情况下的判别能力显著提升。
• Tri-Attention层的数量与相关性评分方法的选择对性能有显著影响，最优配置因任务而异，表明需针对具体任务进行调优。
• 案例研究显示，Tri-Attention能有效利用上下文信息解决歧义——例如准确区分“播放”与“下载”电影的语义，而词级相似度会误导标准模型。
• 该框架具有良好的泛化能力，即使在不使用BERT预训练的情况下也表现优异，表明其作为插件式注意力模块在多种架构中均具实用价值。