[论文解读] Pre-training technique to localize medical BERT and enhance biomedical BERT

Shoya Wada, Toshihiro Takeda+4 more|arXiv (Cornell University)|May 14, 2020

Topic Modeling参考文献 26被引用 15

一句话总结

本文提出了一种预训练技术，通过扩大特定领域的语料并将其与更大的通用领域语料平衡，同时使用扩展的词汇表，以增强生物医学 BERT。该方法在医学文本分类和生物医学理解基准测试中显著提升了性能，增强后的模型在未使用临床笔记进行预训练的情况下，于 BLUE 基准测试中比基线模型高出 0.3 分。

ABSTRACT

Pre-training large-scale neural language models on raw texts has made a significant contribution to improving transfer learning in natural language processing (NLP). With the introduction of transformer-based language models, such as bidirectional encoder representations from transformers (BERT), the performance of information extraction from a free text by NLP has significantly improved for both the general domain and medical domain; however, it is difficult to train specific BERT models that perform well for domains in which there are few publicly available databases of high quality and large size. We hypothesized that this problem can be addressed by up-sampling a domain-specific corpus and using it for pre-training with a larger corpus in a balanced manner. Our proposed method consists of a single intervention with one option: simultaneous pre-training after up-sampling and amplified vocabulary. We conducted three experiments and evaluated the resulting products. We confirmed that our Japanese medical BERT outperformed conventional baselines and the other BERT models in terms of the medical document classification task and that our English BERT pre-trained using both the general and medical-domain corpora performed sufficiently well for practical use in terms of the biomedical language understanding evaluation (BLUE) benchmark. Moreover, our enhanced biomedical BERT model, in which clinical notes were not used during pre-training, showed that both the clinical and biomedical scores of the BLUE benchmark were 0.3 points above that of the ablation model trained without our proposed method. Well-balanced pre-training by up-sampling instances derived from a corpus appropriate for the target task allows us to construct a high-performance BERT model.

研究动机与目标

• 解决在缺乏大规模高质量特定领域数据集的情况下，训练高性能特定领域 BERT 模型的挑战。
• 提升生物医学 BERT 在医学文本分类和语言理解任务中的性能。
• 开发一种有效的预训练策略，以更好地平衡特定领域和通用领域语料，实现更优的迁移学习。
• 在预训练过程中不依赖临床笔记，实现高性能本地化医学 BERT 模型的构建。
• 将预训练权重和微调代码公开，以支持更广泛的研究应用。

提出的方法

• 在预训练期间，通过扩大一个小的特定领域医学语料，使其与更大的通用领域语料达到平衡。
• 同时在扩大后的医学语料和通用领域语料上对 BERT 模型进行联合预训练。
• 扩展词汇表，以包含与医学领域相关的特定领域标记。
• 采用单一预训练阶段，以平衡方式整合两种语料，以提升模型的领域定位能力。
• 对英文和日文医学 BERT 变体应用相同的预训练流程。
• 使用掩码语言建模和下一句预测目标进行模型训练，这些目标已适配于合并后的语料。

实验结果

研究问题

• RQ1 通过扩大一个小规模医学语料并将其与更大的通用领域语料结合，能否提升特定领域 BERT 模型的性能？
• RQ2 使用扩展词汇表进行平衡预训练，是否能提升医学文本分类任务的性能？
• RQ3 在预训练过程中未使用临床笔记的生物医学 BERT 模型，是否仍能在生物医学理解基准测试中实现高性能？
• RQ4 与传统预训练基线相比，该方法在迁移学习有效性方面表现如何？
• RQ5 增强后的 BERT 模型在 BLUE 基准测试中的性能提升程度如何？

主要发现

• 所提出的日文医学 BERT 在医学文档分类任务中优于传统基线模型。
• 在通用语料和医学语料上联合预训练的英文 BERT 模型，在 BLUE 基准测试中达到了适合实际应用的性能水平。
• 在未使用临床笔记进行预训练的情况下，增强后的生物医学 BERT 模型在 BLUE 基准测试的临床和生物医学子任务中，比消融模型高出 0.3 分。
• 使用扩大后的特定领域数据进行良好平衡的预训练，在各项评估任务中显著提升了模型性能。
• 该方法表明，即使在高质量特定领域数据有限的情况下，通过战略性数据增强和平衡，仍可实现有效的领域定位。
• 预训练权重和微调代码已公开，以支持可复现性和进一步研究。