[论文解读] Resolving the Scope of Speculation and Negation using Transformer-Based Architectures

Benita Kathleen Britto, Aditya Khandelwal|arXiv (Cornell University)|Jan 9, 2020

Topic Modeling参考文献 21被引用 11

一句话总结

本文提出使用 BERT、XLNet 和 RoBERTa 进行推测与否定作用范围的识别，在 BioScope 和 SFU 数据集上取得了最先进（SOTA）的性能。在多个数据集上进行联合训练可提升性能，XLNet 在所有任务中均持续优于 BERT 和 RoBERTa，尤其在序列标注任务（如作用范围识别）中表现更优。

ABSTRACT

Speculation is a naturally occurring phenomena in textual data, forming an integral component of many systems, especially in the biomedical information retrieval domain. Previous work addressing cue detection and scope resolution (the two subtasks of speculation detection) have ranged from rule-based systems to deep learning-based approaches. In this paper, we apply three popular transformer-based architectures, BERT, XLNet and RoBERTa to this task, on two publicly available datasets, BioScope Corpus and SFU Review Corpus, reporting substantial improvements over previously reported results (by at least 0.29 F1 points on cue detection and 4.27 F1 points on scope resolution). We also experiment with joint training of the model on multiple datasets, which outperforms the single dataset training approach by a good margin. We observe that XLNet consistently outperforms BERT and RoBERTa, contrary to results on other benchmark datasets. To confirm this observation, we apply XLNet and RoBERTa to negation detection and scope resolution, reporting state-of-the-art results on negation scope resolution for the BioScope Corpus (increase of 3.16 F1 points on the BioScope Full Papers, 0.06 F1 points on the BioScope Abstracts) and the SFU Review Corpus (increase of 0.3 F1 points).

研究动机与目标

• 使用基于 Transformer 的架构提升生物医学文本中推测与否定作用范围识别的性能。
• 探究在多个数据集上联合训练是否能增强模型的泛化能力与性能表现。
• 比较 BERT、XLNet 和 RoBERTa 在与不确定性和否定相关的序列标注任务中的有效性。
• 探究 XLNet 在此任务中为何优于 RoBERTa，尽管在标准 GLUE 基准测试中 RoBERTa 表现更优。
• 在公开数据集上为推测与否定作用范围识别任务建立最先进（SOTA）的性能基准。

提出的方法

• 在推测与否定检测任务上微调三种 Transformer 模型（BERT、XLNet、RoBERTa），采用基于 token 的序列标注分类方法。
• 对每个数据集采用标准的 70-15-15 训练-验证-测试划分，单数据集训练进行 5 次运行，联合训练进行 3 次运行。
• 使用 Hugging Face 的 PyTorch 实现进行模型训练与推理，运行环境为 Google Colab。
• 通过合并多个数据集（BF、BA、SFU）的训练集与验证集实现联合训练，同时保持测试集独立用于评估。
• 采用标准分词方法与标签编码（1: 正常提示词，2: 多词提示词，3: 非提示词，4: 填充）进行序列标注。
• 使用 F1 分数评估模型在提示词检测与作用范围识别两个任务上的性能，结果取多次运行的平均值以增强统计稳健性。

实验结果

研究问题

• RQ1 基于 Transformer 的模型（如 BERT、XLNet、RoBERTa）是否能在推测与否定作用范围识别任务上达到最先进性能？
• RQ2 与单数据集训练相比，在多个数据集（如 BioScope 摘要、BioScope 全文、SFU 审稿语料库）上进行联合训练是否能提升模型的泛化能力与性能表现？
• RQ3 为何 XLNet 在这些序列标注任务中优于 RoBERTa，尽管 RoBERTa 在标准 NLP 基准测试中表现更优？
• RQ4 生物医学文本的领域特定特征在多大程度上影响模型性能与迁移能力？
• RQ5 同一模型架构是否能同时在推测与否定作用范围识别任务中实现 SOTA 性能？

主要发现

• 在多个数据集上进行联合训练显著提升了所有模型的性能，其中在 BioScope 全文数据集上，推测检测的 F1 分数最高提升 10.6 点，作用范围识别提升 2.16 点。
• XLNet 在所有数据集上对推测与否定任务的 F1 分数均最高，且持续优于 BERT 和 RoBERTa。
• 在推测作用范围识别任务中，XLNet 在 BioScope 摘要数据集上相比之前工作提升 4.27 F1 分数，在 BioScope 全文数据集上提升 8.06 F1 分数。
• 在否定作用范围识别任务中，XLNet 在 BioScope 全文数据集上提升 3.16 F1 分数，在 SFU 审稿语料库上提升 0.3 F1 分数，创下新的 SOTA 记录。
• XLNet 与 RoBERTa 之间的性能差距在序列标注任务中比在标准 GLUE 基准测试中更为显著，表明模型架构差异在序列级预测任务中具有更大影响。
• SFU 审稿语料库在跨数据集泛化方面优于 BioScope 数据集，可能由于其在领域与句法结构上的差异。