[论文解读] Simple BERT Models for Relation Extraction and Semantic Role Labeling

Peng Shi, Jimmy Lin|arXiv (Cornell University)|Apr 10, 2019

Natural Language Processing Techniques参考文献 23被引用 194

一句话总结

该论文展示了基于简单 BERT 的关系抽取和语义角色标注（SRL）模型，在没有外部词汇或句法特征的情况下达到最先进或强劲的结果。

ABSTRACT

We present simple BERT-based models for relation extraction and semantic role labeling. In recent years, state-of-the-art performance has been achieved using neural models by incorporating lexical and syntactic features such as part-of-speech tags and dependency trees. In this paper, extensive experiments on datasets for these two tasks show that without using any external features, a simple BERT-based model can achieve state-of-the-art performance. To our knowledge, we are the first to successfully apply BERT in this manner. Our models provide strong baselines for future research.

研究动机与目标

• 证明不使用语言特征的基于 BERT 的模型在关系抽取和 SRL 上也能取得良好表现。
• 提出简单、具实体感知和谓词感知的架构，基于 BERT 构建。
• 在标准基准上进行评估，以为未来工作建立具有竞争力的基线。

提出的方法

• 使用 BERT 编码句子，将实体提及替换为掩码，以为关系抽取创建实体感知输入。
• 将 BERT 的上下文嵌入与主体/客体的位置信息嵌入拼接并输入 BiLSTM 和 MLP 进行关系预测。
• 对于 SRL，将谓词指示嵌入附加到 BERT 表征上，并使用带有 MLP 的 BiLSTM 进行论元标注。
• 通过在单一框架内使用谓词感知输入序列和 BIO 标注，将基于跨度的 SRL 与基于依存的 SRL 统一起来。
• 使用标准数据集进行评估（RE 的 TACRED；SRL 的 CoNLL 2005/2012、2009），并与最先进的模型进行比较。

实验结果

研究问题

• RQ1 基于 BERT 的模型是否能在没有外部语言特征的情况下达到关系抽取的最先进水平？
• RQ2 建立在 BERT 之上的简单架构是否能有效处理 span-based 和 dependency-based 形成的语义角色标注？
• RQ3 实体/谓词掩码和指示嵌入如何影响任务性能？

主要发现

模型	P	R	F1
Zhang et al. 2017	65.7	64.5	65.1
Zhang et al. 2018	69.9	63.33	66.4
Wu et al. 2019	-	-	67.0
Alt et al. 2019	70.1	65.0	67.4
BERT-LSTM-base	73.3	63.10	67.8
Zhang et al. 2018 (ensemble)	71.3	65.4	68.2

• 在 TACRED 上，采用简单架构的 BERT 基模型超越了多种具特征的基线。
• BERT-LSTM-base 在 TACRED 测试集上达到 73.3 P、63.10 R、67.8 F1，与先前的单模型方法相比。
• BERT-LSTM-large 及其变体在 SRL 任务上取得了强劲结果，通常在没有语言特征的情况下超过现有基线。
• 对于 SRL 的基于依存的结果，BERT-LSTM-large 在端到端评估中比以前的最先进方法取得显著的 F1 提升。