[论文解读] NegBERT: A Transfer Learning Approach for Negation Detection and Scope Resolution

Aditya Khandelwal, Suraj Sawant|arXiv (Cornell University)|Nov 11, 2019

Natural Language Processing Techniques参考文献 39被引用 49

一句话总结

NegBERT 使用 BERT 的迁移学习进行否定检测和范围解析，在 BioScope、Sherlock 和 SFU 数据集的四个基准上实现了最先进的 token-level F1。

ABSTRACT

Negation is an important characteristic of language, and a major component of information extraction from text. This subtask is of considerable importance to the biomedical domain. Over the years, multiple approaches have been explored to address this problem: Rule-based systems, Machine Learning classifiers, Conditional Random Field Models, CNNs and more recently BiLSTMs. In this paper, we look at applying Transfer Learning to this problem. First, we extensively review previous literature addressing Negation Detection and Scope Resolution across the 3 datasets that have gained popularity over the years: the BioScope Corpus, the Sherlock dataset, and the SFU Review Corpus. We then explore the decision choices involved with using BERT, a popular transfer learning model, for this task, and report state-of-the-art results for scope resolution across all 3 datasets. Our model, referred to as NegBERT, achieves a token level F1 score on scope resolution of 92.36 on the Sherlock dataset, 95.68 on the BioScope Abstracts subcorpus, 91.24 on the BioScope Full Papers subcorpus, 90.95 on the SFU Review Corpus, outperforming the previous state-of-the-art systems by a significant margin. We also analyze the model's generalizability to datasets on which it is not trained.

研究动机与目标

• 动机：强调否定检测和范围解析对信息提取的重要性，尤其在生物医学领域。
• 调查现有的否定检测方法及数据集（BioScope、Sherlock、SFU Review Corpus）。
• 研究基于 BERT 的迁移学习在否定任务中的应用并建立强基线。
• 在多数据集上展示最先进的范围解析性能。

提出的方法

• 将基于 BERT 的迁移学习应用于否定检测和范围解析任务。
• 尝试对将 BERT 适应于否定任务的决策选项进行实验。
• 在四个数据集上使用既定指标评估 token-level 范围解析性能。
• 与先前的最先进系统进行比较以评估改进。
• 提供对未在训练中出现数据集的泛化分析。

实验结果

研究问题

• RQ1 基于 BERT 的迁移学习能否在否定检测和范围解析方面超越现有方法？
• RQ2 将 BERT 适应于否定范围任务的最佳微调选择是什么？
• RQ3 相较于先前方法，NegBERT 在多个语料库（BioScope Abstracts、BioScope Full Papers、Sherlock、SFU）上的表现如何？
• RQ4 NegBERT 对未见数据集的泛化能力如何？

主要发现

• NegBERT 在 Sherlock 上达到 92.36 的 token-level F1，在 BioScope Abstracts 上达到 95.68，在 BioScope Full Papers 上达到 91.24，在 SFU Review Corpus 上达到 90.95。
• NegBERT 在所有报告的数据集上显著超越先前的最先进系统。
• 该模型在多样化的否定语料库中展示出强大的泛化能力。
• 本文提供了将迁移学习应用于否定任务时对 BERT 的选择分析。
• 研究结果将 NegBERT确立为当时否定范围解析的领先方法。