[论文解读] Position-aware Self-attention with Relative Positional Encodings for Slot Filling

Ivan Bilan, Benjamin Roth|arXiv (Cornell University)|Jul 9, 2018

Tactile and Sensory Interactions参考文献 11被引用 21

一句话总结

该论文提出了一种基于自注意力机制的模型，采用相对位置编码和位置感知注意力层，用于关系抽取中的槽填充。通过用自注意力编码器替代LSTM，并引入相对位置编码，该模型在TACRED数据集上实现了最先进性能，优于先前方法，且完全依赖注意力机制。

ABSTRACT

This paper describes how to apply self-attention with relative positional encodings to the task of relation extraction. We propose to use the self-attention encoder layer together with an additional position-aware attention layer that takes into account positions of the query and the object in the sentence. The self-attention encoder also uses a custom implementation of relative positional encodings which allow each word in the sentence to take into account its left and right context. The evaluation of the model is done on the TACRED dataset. The proposed model relies only on attention (no recurrent or convolutional layers are used), while improving performance w.r.t. the previous state of the art.

研究动机与目标

• 开发一种完全基于注意力机制的关系抽取模型，避免使用循环或卷积组件。
• 通过整合考虑句子中主语和宾语位置的位置感知注意力，提升槽填充性能。
• 通过将绝对位置编码替换为相对位置编码，改进自注意力机制，以更好地建模标记间关系。
• 评估激活函数、权重初始化和层配置等架构修改对关系分类性能的影响。

提出的方法

• 该模型使用自注意力编码器，并自定义实现相对位置编码，以建模每个标记的左右上下文。
• 在自注意力编码器之上添加位置感知注意力层，显式建模查询与宾语标记及其相对位置之间的交互。
• 相对位置编码采用分箱策略，将远距离标记分组到更大的箱中，以提升泛化能力。
• 模型在每个编码器层中采用多头自注意力机制，包含查询、键和值的变换，随后接前馈网络。
• 注意力机制通过查询与键之间的点积并经Softmax归一化，计算兼容性得分，生成对值的加权输出。
• 最终分类头利用上下文感知表示，预测42种预定义关系中的一种或'no_relation'。

实验结果

研究问题

• RQ1 纯自注意力架构能否在槽填充的关系抽取任务中超越LSTM等序列模型？
• RQ2 在该任务中，使用相对位置编码相比绝对位置编码能否提升性能？
• RQ3 在自注意力编码器基础上添加位置感知注意力层，能在多大程度上提升性能？
• RQ4 激活函数、权重初始化和网络深度等架构选择对模型性能有何影响？

主要发现

• 所提模型在TACRED数据集上实现了最先进性能，优于先前使用LSTM或混合架构的SOTA方法。
• 与绝对位置编码相比，使用相对位置编码使F₁分数提升0.2%，证明其在建模长距离依赖方面的有效性。
• 自注意力编码器本身达到85.4%的高召回率，但仅26.7%的精确率，表明需要额外监督以平衡性能。
• 将RReLU替换为ReLU会使F₁分数降低0.3%，表明RReLU提供了微小但稳定的性能优势。
• 使用Kaiming权重初始化而非Xavier初始化，可使精确率略有提升，但F₁分数不变，表明对整体性能影响微小。
• 将自注意力编码器与LSTM结合用于隐藏状态计算，并未带来显著性能提升，表明自注意力组件已足够。