[论文解读] Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation

Yu-Jen Chen, Wei-Hsiang Shen+7 more|arXiv (Cornell University)|Sep 4, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出了一种基于对比学习的胸部X光片报告生成框架，该框架仅使用X光片对视觉编码器进行预训练，并引入肺部分割作为数据增强策略，以引导特征学习聚焦于肺部区域。该方法在IU X-ray和MIMIC-CXR数据集上实现了最先进性能，提升了BLEU和ROUGE分数，同时生成的报告比不使用分割的基线对比学习方法更准确、更聚焦于肺部。

ABSTRACT

Medical report generation is a challenging task since it is time-consuming and requires expertise from experienced radiologists. The goal of medical report generation is to accurately capture and describe the image findings. Previous works pretrain their visual encoding neural networks with large datasets in different domains, which cannot learn general visual representation in the specific medical domain. In this work, we propose a medical report generation framework that uses a contrastive learning approach to pretrain the visual encoder and requires no additional meta information. In addition, we adopt lung segmentation as an augmentation method in the contrastive learning framework. This segmentation guides the network to focus on encoding the visual feature within the lung region. Experimental results show that the proposed framework improves the performance and the quality of the generated medical reports both quantitatively and qualitatively.

研究动机与目标

• 解决在非医学数据集上预训练视觉编码器的局限性，这些数据集无法捕捉胸部X光片中的领域特定特征。
• 通过将视觉表征学习聚焦于肺部区域，提升生成放射科报告的质量与准确性。
• 开发一种无需额外元数据或外部数据集的自监督预训练方法。
• 评估将肺部分割作为数据增强策略是否能提升医学报告生成的特征学习效果。

提出的方法

• 仅使用胸部X光片，通过对比学习（CL）对视觉编码器进行预训练，不依赖任何外部数据集或元数据。
• 引入肺部分割掩码作为数据增强技术，引导模型关注并学习肺部区域的特征。
• 应用实例判别对比损失，以最大化正样本视图（增强图像）之间的相似性，同时最小化负样本视图之间的相似性。
• 使用成对的图像与报告，通过监督损失对整个端到端模型进行微调。
• 将预训练的编码器作为特征提取器，应用于最先进报告生成模型（如R2Gen、Transformer）中，以评估其迁移能力。
• 通过标准指标（BLEU、ROUGE）以及与肺部相关发现的MeSH标签F1分数评估性能。

实验结果

研究问题

• RQ1 仅在胸部X光片上进行对比学习预训练，是否相比在非医学数据集上预训练，能更好地提升医学报告生成的视觉表征？
• RQ2 在对比学习中引入肺部分割作为数据增强策略，是否能带来更准确、更详细的肺部异常描述？
• RQ3 所提出方法在定量和定性层面与现有最先进模型相比表现如何？
• RQ4 该CL预训练编码器结合肺部分割在其他报告生成架构上的泛化能力如何？
• RQ5 与标准对比学习相比，该模型是否能生成更准确的肺部特异性病理描述？

主要发现

• 所提方法在IU X-ray和MIMIC-CXR数据集上均达到最先进性能，BLEU-1分数分别为0.466和0.359，优于先前方法。
• 在R2Gen模型上使用MoCo预训练，使IU X-ray的BLEU-1从0.455提升至0.466，MIMIC-CXR的BLEU-1从0.354提升至0.359，证明了其良好的迁移能力。
• 引入肺部分割后，与肺部相关的MeSH标签F1分数显著提升——例如气胸（0.808 vs. 0.752）和钙化（0.120 vs. 0.030），表明对肺部病灶的定位能力更强。
• 定性分析显示，带有肺部分割的模型在3例中均正确描述了肺体积减小的情况，而标准CL模型则错误地描述为肺部过度膨胀。
• 带有肺部分割的模型在定量指标和定性示例中均生成了更准确、更详细的肺部区域描述，经人工评估验证。
• 消融实验表明，肺部分割能提升对肺部病灶的特异性，且未显著降低整体报告质量。