[论文解读] Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction

Hong Guan, Jianfu Li+2 more|arXiv (Cornell University)|Apr 13, 2020

Topic Modeling参考文献 21被引用 5

一句话总结

本论文提出了一种基于 RoBERTa 的鲁棒预训练神经模型，用于直接从临床文本中提取时间关系，利用更大规模的领域自适应语料库和改进的预训练策略。在 i2b2 2012 年时间关系数据集上，该模型相比先前最先进（SOTA）的基于 SVM 的方法，F1 值绝对提升了 0.0864，错误率降低了 24%。

ABSTRACT

Background: Identifying relationships between clinical events and temporal expressions is a key challenge in meaningfully analyzing clinical text for use in advanced AI applications. While previous studies exist, the state-of-the-art performance has significant room for improvement. Methods: We studied several variants of BERT (Bidirectional Encoder Representations using Transformers) some involving clinical domain customization and the others involving improved architecture and/or training strategies. We evaluated these methods using a direct temporal relations dataset which is a semantically focused subset of the 2012 i2b2 temporal relations challenge dataset. Results: Our results show that RoBERTa, which employs better pre-training strategies including using 10x larger corpus, has improved overall F measure by 0.0864 absolute score (on the 1.00 scale) and thus reducing the error rate by 24% relative to the previous state-of-the-art performance achieved with an SVM (support vector machine) model. Conclusion: Modern contextual language modeling neural networks, pre-trained on a large corpus, achieve impressive performance even on highly-nuanced clinical temporal relation tasks.

研究动机与目标

• 提升临床文本中直接时间关系抽取的最先进性能。
• 评估 RoBERTa 及其他 BERT 变体在捕捉临床叙述中细微时间关系方面的能力。
• 评估领域特定预训练和增强训练策略对临床时间关系任务的影响。
• 为临床 NLP 应用中的时间关系抽取建立一个稳健的神经基线。

提出的方法

• 在 2012 年 i2b2 时间关系数据集的语义聚焦子集上微调 RoBERTa，这是一种鲁棒预训练的 BERT 变体。
• 使用比标准 BERT 大 10 倍的预训练语料库，以增强临床文本的表征学习能力。
• 应用改进的预训练策略，包括动态掩码和更长的预训练，以提升模型泛化能力。
• 使用标准 F1 分数在直接时间关系分类任务上评估模型性能。
• 在相同基准上将 RoBERTa 与其它 BERT 变体及基于 SVM 的基线模型进行比较。
• 采用在预训练编码器之上添加任务特定分类层的微调策略。

实验结果

研究问题

• RQ1 RoBERTa 是否能在临床文本的直接时间关系抽取任务中超越先前最先进模型？
• RQ2 在更大规模、领域特定的语料库上进行预训练，对临床时间关系任务的性能有何影响？
• RQ3 改进的预训练策略（如动态掩码、更长的预训练）在多大程度上提升了模型的鲁棒性和准确性？
• RQ4 使用临床语料库进行领域自适应预训练是否能显著提升对细粒度时间关系的理解？

主要发现

• 在 i2b2 直接时间关系数据集上，RoBERTa 相较于先前最先进（SOTA）的基于 SVM 的模型，F1 值绝对提升了 0.0864。
• 与先前最先进方法相比，该模型将错误率相对降低了 24%，表明性能有显著提升。
• 使用 10 倍大的预训练语料库和增强的预训练策略，对性能提升起到了关键作用。
• RoBERTa 在性能上优于其他 BERT 变体，包括经过临床微调的版本，表明预训练策略的重要性超过仅依赖领域特定微调。
• 结果证实，经过大规模语料库预训练的现代上下文语言模型即使在高度复杂的临床时间推理任务中，也能实现强大的性能。