[论文解读] PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain

Thiago de Santana Santos, Amara Tariq+5 more|arXiv (Cornell University)|May 13, 2022

Biomedical Text Mining and Ontologies被引用 7

一句话总结

PathologyBERT 是一种基于 BERT 的领域专用语言模型，其在 347,173 份组织病理学报告上进行预训练，以应对病理报告中报告方式不一致及专业术语复杂的问题。该模型在自然语言理解与乳腺癌诊断分类任务上优于通用模型，表明领域专用的预训练能显著提升病理文本挖掘的性能。

ABSTRACT

Pathology text mining is a challenging task given the reporting variability and constant new findings in cancer sub-type definitions. However, successful text mining of a large pathology database can play a critical role to advance 'big data' cancer research like similarity-based treatment selection, case identification, prognostication, surveillance, clinical trial screening, risk stratification, and many others. While there is a growing interest in developing language models for more specific clinical domains, no pathology-specific language space exist to support the rapid data-mining development in pathology space. In literature, a few approaches fine-tuned general transformer models on specialized corpora while maintaining the original tokenizer, but in fields requiring specialized terminology, these models often fail to perform adequately. We propose PathologyBERT - a pre-trained masked language model which was trained on 347,173 histopathology specimen reports and publicly released in the Huggingface repository. Our comprehensive experiments demonstrate that pre-training of transformer model on pathology corpora yields performance improvements on Natural Language Understanding (NLU) and Breast Cancer Diagnose Classification when compared to nonspecific language models.

研究动机与目标

• 为解决在肿瘤学中有效进行文本挖掘所面临的缺乏病理学专用语言模型的问题。
• 提升在病理报告中自然语言理解与疾病分类任务的性能。
• 克服通用领域语言模型在处理专业病理学术语时的局限性。
• 开发并发布一个公开可用的、专为病理学领域定制的预训练 Transformer 模型。
• 证明领域专用预训练相较于微调通用模型可带来可测量的性能提升。

提出的方法

• 在包含 347,173 份组织病理学标本报告的大规模语料上预训练基于 BERT 的 Transformer 模型。
• 在预训练过程中使用掩码语言建模（MLM）目标，以学习上下文表征。
• 使用针对病理学术语和报告结构定制的分词器进行训练。
• 在下游任务（如自然语言理解与乳腺癌诊断分类）上对预训练的 PathologyBERT 进行微调。
• 与在相同病理数据上微调的通用领域 BERT 模型进行性能对比评估。
• 将模型发布在 Hugging Face 上，以供公众访问并用于临床自然语言处理应用。

实验结果

研究问题

• RQ1 与微调通用领域模型相比，在病理学特定文本上预训练的 Transformer 模型是否能提升下游自然语言处理性能？
• RQ2 领域适配的分词器与架构能否增强病理报告的表征学习？
• RQ3 PathologyBERT 在病理学领域的自然语言理解任务中表现如何？
• RQ4 PathologyBERT 在乳腺癌诊断分类中的准确率提升程度如何？
• RQ5 在临床文本挖掘中，通用领域模型与病理学专用模型之间是否存在可测量的性能差距？

主要发现

• 与微调的通用领域 BERT 模型相比，PathologyBERT 在自然语言理解任务上实现了显著的性能提升。
• 该模型在分类乳腺癌诊断方面表现出更优的性能，表明其对疾病特异性术语与模式的学习更为出色。
• 在病理学特定数据上进行预训练，相比领域无关的预训练，能生成更鲁棒、更准确的表征。
• 该模型的性能增益在多个评估指标上保持一致，验证了领域专用预训练的价值。
• 将 PathologyBERT 发布在 Hugging Face 上，促进了其在临床文本挖掘流程中的广泛采用与集成。
• 研究结果支持了以下假设：针对特定领域的预训练对于处理病理报告的复杂性与多样性至关重要。