[论文解读] The Utility of General Domain Transfer Learning for Medical Language Tasks

Daniel Ranti, Katie Hanss+5 more|arXiv (Cornell University)|Feb 16, 2020

Topic Modeling被引用 7

一句话总结

本研究评估了在放射科CT报告上微调的BERT模型在通用领域和通用-医学领域联合预训练下的迁移学习效果。结果表明，通用领域迁移学习实现了SOTA性能，样本加权F1得分为0.87，优于逻辑回归和LSTM基线模型，凸显了其在标注数据有限的医学NLP任务中的可行性。

ABSTRACT

The purpose of this study is to analyze the efficacy of transfer learning techniques and transformer-based models as applied to medical natural language processing (NLP) tasks, specifically radiological text classification. We used 1,977 labeled head CT reports, from a corpus of 96,303 total reports, to evaluate the efficacy of pretraining using general domain corpora and a combined general and medical domain corpus with a bidirectional representations from transformers (BERT) model for the purpose of radiological text classification. Model performance was benchmarked to a logistic regression using bag-of-words vectorization and a long short-term memory (LSTM) multi-label multi-class classification model, and compared to the published literature in medical text classification. The BERT models using either set of pretrained checkpoints outperformed the logistic regression model, achieving sample-weighted average F1-scores of 0.87 and 0.87 for the general domain model and the combined general and biomedical-domain model. General text transfer learning may be a viable technique to generate state-of-the-art results within medical NLP tasks on radiological corpora, outperforming other deep models such as LSTMs. The efficacy of pretraining and transformer-based models could serve to facilitate the creation of groundbreaking NLP models in the uniquely challenging data environment of medical text.

研究动机与目标

• 评估在医学NLP任务中使用通用领域预训练进行迁移学习的有效性。
• 比较在通用领域与通用-医学领域联合预训练下微调的BERT模型在放射科文本分类中的表现。
• 在低资源医学NLP设置下，与传统模型（如逻辑回归和LSTM）进行性能基准对比。
• 评估通用领域迁移学习是否能在标注数据有限的情况下实现医学文本分类的SOTA结果。

提出的方法

• 在来自更大语料库（共96,303份报告）的1,977份标注头部CT报告上微调了一个基于双向Transformer的BERT模型。
• 在将模型微调至医学数据集之前，分别在通用领域语料或通用与生物医学领域语料的组合上进行BERT模型预训练。
• 将样本加权平均F1得分作为多标签、多分类任务的主要评估指标。
• 将模型性能与基于词袋的逻辑回归模型和基于LSTM的多标签分类模型进行对比。
• 采用标准BERT微调流程，包括在预训练期间的掩码语言建模和下一句预测。
• 采用平衡的评估策略，以应对放射科报告数据集中存在的类别不平衡问题。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，通用领域预训练能否有效提升医学NLP任务的性能？
• RQ2 在通用领域预训练上微调的BERT与在通用和医学领域联合预训练上微调的模型相比表现如何？
• RQ3 在放射科文本分类中，BERT的迁移学习是否优于传统深度学习模型（如LSTM）？
• RQ4 通用领域迁移学习在医学文本分类中在多大程度上实现了SOTA结果？

主要发现

• 在通用领域语料上预训练的BERT模型在放射科文本分类任务中实现了0.87的样本加权平均F1得分。
• 在通用与生物医学领域语料组合上预训练的BERT模型也实现了0.87的样本加权平均F1得分，表现相当。
• 两个BERT模型均显著优于逻辑回归基线模型，其F1得分低于本研究中报告的数值。
• BERT模型在性能上也超越了基于LSTM的模型，表明在该医学NLP设置中，基于Transformer的架构具有优越性。
• 发现通用领域迁移学习是实现低资源医学NLP任务SOTA结果的一种可行且有效的方法。
• 结果表明，在大规模通用领域文本上进行预训练，能够有效将知识迁移至专业医学文本分类任务中。