[论文解读] Pre-training A Neural Language Model Improves The Sample Efficiency of an Emergency Room Classification Model

Binbin Xu, Cédric Gil‐Jardine+4 more|arXiv (Cornell University)|Aug 30, 2019

Machine Learning in Healthcare被引用 8

一句话总结

本研究证明，在未标注的急诊室临床记录上对法语 GPT-2 语言模型进行预训练，可显著提升分类创伤与非创伤就诊的样本效率。通过在仅 160 个标注样本上进行微调前的自监督预训练，该模型实现了 AUC >0.95——相当于使用 1,600 个样本进行完全监督训练的模型性能——将所需标注数据量减少了 10 倍。

ABSTRACT

To build a French national electronic injury surveillance system based on emergency room visits, we aim to develop a coding system to classify their causes from clinical notes in free-text. Supervised learning techniques have shown good results in this area but require a large amount of expert annotated dataset which is time consuming and costly to obtain. We hypothesize that the Natural Language Processing Transformer model incorporating a generative self-supervised pre-training step can significantly reduce the required number of annotated samples for supervised fine-tuning. In this preliminary study, we test our hypothesis in the simplified problem of predicting whether a visit is the consequence of a traumatic event or not from free-text clinical notes. Using fully re-trained GPT-2 models (without OpenAI pre-trained weights), we assess the gain of applying a self-supervised pre-training phase with unlabeled notes prior to the supervised learning task. Results show that the number of data required to achieve a ginve level of performance (AUC>0.95) was reduced by a factor of 10 when applying pre-training. Namely, for 16 times more data, the fully-supervised model achieved an improvement <1% in AUC. To conclude, it is possible to adapt a multi-purpose neural language model such as the GPT-2 to create a powerful tool for classification of free-text notes with only a small number of labeled samples.

研究动机与目标

• 降低从自由文本临床记录中训练监督模型以分类急诊室就诊原因的高昂标注成本。
• 评估在法语医疗文本的低资源 NLP 场景下，使用生成式语言模型进行自监督预训练是否能提升样本效率。
• 为法国国家级急诊护理系统开发一种可扩展的、低资源的自动化创伤监测解决方案。
• 评估无需依赖英语预训练权重即可将多语言 Transformer 模型（如 GPT-2）适配至法语临床语言的可行性。

提出的方法

• 在法语急诊室临床记录上微调一个完全重新训练的 GPT-2 模型（117M 和 345M 参数），用于二元创伤分类任务。
• 采用两阶段训练流程：首先，在 2,100 万个未标注的法语临床记录上进行自监督预训练，使用下一项词预测目标。
• 然后，在一个小型、专家标注的 160 至 1,600 个标注的创伤/非创伤就诊数据集上微调预训练模型。
• 采用问答风格提示格式，将分类任务转化为序列到序列生成问题。
• 使用 AUC 评估性能，并在不同标注数据量下对比预训练与未预训练模型的表现。
• 使用 ICD-10 编码定义真实标签，确保创伤与非创伤标注的一致性。

实验结果

研究问题

• RQ1 使用生成式语言模型进行自监督预训练，能否减少在法语急诊室记录中实现准确创伤分类所需的标注样本数量？
• RQ2 在大规模未标注临床文本上进行预训练，与从零开始训练相比，对下游分类模型性能有何影响？
• RQ3 预训练带来的性能提升是否随数据量增加而扩大？能否在极少量标注数据下实现高 AUC？
• RQ4 在不使用 OpenAI 预训练权重的情况下，多语言 Transformer 模型（如 GPT-2）能否有效适配至法语医疗文本？
• RQ5 在医学文本分类任务的微调过程中，预训练模型与未预训练模型的训练动态有何差异？

主要发现

• 预训练将实现 AUC >0.95 所需的标注样本数量减少了 10 倍，从 1,600 个减少至 160 个。
• 预训练模型在微调过程中表现出单调递增的 AUC 曲线，表明学习过程稳定且高效。
• 从零开始训练的完全监督模型需要 1,600 个标注样本才能达到 AUC >0.95，即使使用 16 倍于预训练模型的数据，其性能仅提高 1%。
• 本研究中，345M 参数的 GPT-2 模型并未优于 117M 参数的模型，可能由于计算资源限制导致无法完成完整训练。
• 预训练阶段促进了更好的语义表征学习，即使在极少量标注数据下也显著提升了下游分类性能。
• 结果支持在非英语语言的低资源医疗 NLP 任务中，采用自监督预训练作为一项强大策略。