[论文解读] RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification

Ajay Jaiswal, Liyan Tang+4 more|PubMed|Oct 28, 2021

Radiology practices and education参考文献 31被引用 12

一句话总结

RadBERT-CL 提出了一种事实感知的对比学习框架，通过新颖的数据增强技术，保留了否定和不确定性等关键医学细微差别，从而提升了放射科报告分类的性能。该模型在弱标注的 MIMIC-CXR 数据上进行自监督预训练，采用对比损失，微调时在有限标注数据下实现了最先进性能，F1 分数相比 BERT 和 CheXbert 提升了 6–11%。

ABSTRACT

Radiology reports are unstructured and contain the imaging findings and corresponding diagnoses transcribed by radiologists which include clinical facts and negated and/or uncertain statements. Extracting pathologic findings and diagnoses from radiology reports is important for quality control, population health, and monitoring of disease progress. Existing works, primarily rely either on rule-based systems or transformer-based pre-trained model fine-tuning, but could not take the factual and uncertain information into consideration, and therefore generate false positive outputs. In this work, we introduce three sedulous augmentation techniques which retain factual and critical information while generating augmentations for contrastive learning. We introduce RadBERT-CL, which fuses these information into BlueBert via a self-supervised contrastive loss. Our experiments on MIMIC-CXR show superior performance of RadBERT-CL on fine-tuning for multi-class, multi-label report classification. We illustrate that when few labeled data are available, RadBERT-CL outperforms conventional SOTA transformers (BERT/BlueBert) by significantly larger margins (6-11%). We also show that the representations learned by RadBERT-CL can capture critical medical information in the latent space.

研究动机与目标

• 为解决现有模型在捕捉放射科报告中事实细微差别（如否定和不确定性）方面的局限性。
• 在标注样本极少的低资源设置下，提升放射科报告分类的性能。
• 开发能够保留临床事实信息的同时支持有效对比预训练的数据增强技术。
• 证明对比学习可在医学文本中学习到具有判别性且事实感知的表示。

提出的方法

• 提出三种新颖的句子级和文档级数据增强技术，可保留事实性与不确定性信息，包括否定和不确定性标记。
• 使用自监督对比损失微调 BlueBert，以对齐同一报告的正样本片段，同时分离负样本。
• 集成信息保留模块（Info-Preservation Module），在增强过程中检测并保留被否定或不确定的陈述。
• 使用弱标注的 MIMIC-CXR 数据进行预训练，避免依赖昂贵的专家标注数据。
• 采用对比学习目标，最大化同一报告不同增强视图之间的对齐，同时最小化不同报告之间的对齐。
• 通过线性评估和微调，在多类、多标签分类任务上评估性能。

实验结果

研究问题

• RQ1 在保留事实信息的数据增强下，对比学习是否能改善潜在空间中放射科报告的表示？
• RQ2 RadBERT-CL 在仅使用少量标注数据的低资源设置下，是否优于 BERT 和 CheXbert 等现有最先进模型？
• RQ3 模型的嵌入是否能区分放射科报告中细微的事实差异，例如存在 vs. 不存在，或确定性 vs. 不确定性？
• RQ4 所提出的对比预训练策略在无需人工标注的情况下，是否能有效捕捉医学细微差别？

主要发现

• 当在仅 400 份标注报告上微调时，RadBERT-CL 的加权 F1 分数相比 CheXbert 提升了 6–11%，表明其在低数据场景下表现更优。
• 在 MIMIC-CXR 数据集的 14 项发现中，RadBERT-CL 在 11 项上达到最先进性能，且在多个评估指标上均表现出一致提升。
• 余弦相似度分析表明，RadBERT-CL 的嵌入能够区分事实不同的报告片段（如“无实变” vs. “明确实变”），而 BERT 和 BlueBert 无法实现此类区分。
• 线性评估结果证实，即使未进行微调，RadBERT-CL 学习到的表示也显著优于 BERT 和 BlueBert。
• 信息保留模块在增强过程中成功保留了被否定和不确定的陈述，从而提升了潜在空间中的事实感知能力。
• 在完整 MIMIC-CXR 数据集上进行预训练后再微调，性能优于在小规模子集上预训练，凸显大规模无监督数据的优势。