[论文解读] X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation

Tom van Sonsbeek, Marcel Worring|arXiv (Cornell University)|Feb 22, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

X-TRA 提出了一种用于胸部X光片分析的跨模态检索增强框架，通过使用微调后的CLIP模型检索与疾病相关的图像和报告，从而提升疾病分类和放射科报告检索的性能。通过使用标签感知对比损失对齐视觉与语言模态，并应用多头注意力机制整合检索到的知识，X-TRA 实现了最先进性能，使多标签分类性能提升超过5%，并达到专用报告生成方法的水平。

ABSTRACT

An important component of human analysis of medical images and their context is the ability to relate newly seen things to related instances in our memory. In this paper we mimic this ability by using multi-modal retrieval augmentation and apply it to several tasks in chest X-ray analysis. By retrieving similar images and/or radiology reports we expand and regularize the case at hand with additional knowledge, while maintaining factual knowledge consistency. The method consists of two components. First, vision and language modalities are aligned using a pre-trained CLIP model. To enforce that the retrieval focus will be on detailed disease-related content instead of global visual appearance it is fine-tuned using disease class information. Subsequently, we construct a non-parametric retrieval index, which reaches state-of-the-art retrieval levels. We use this index in our downstream tasks to augment image representations through multi-head attention for disease classification and report retrieval. We show that retrieval augmentation gives considerable improvements on these tasks. Our downstream report retrieval even shows to be competitive with dedicated report generation methods, paving the path for this method in medical imaging.

研究动机与目标

• 通过显式整合类似过往病例的知识，提升胸部X光片分析任务，模仿人类诊断推理过程。
• 通过聚焦细粒度的疾病相关特征，解决医学图像检索中全局特征主导的问题。
• 开发一种检索增强框架，以同时提升多标签疾病分类与放射科报告检索性能。
• 评估该方法在不同数据集上的泛化能力及其在医学影像领域偏移下的鲁棒性。

提出的方法

• 使用标签感知对比损失微调CLIP模型，以在疾病特定内容周围对齐视觉与语言表征，减少对全局图像外观的依赖。
• 利用微调后的CLIP模型构建非参数化检索索引，实现在图像与放射科报告之间的跨模态检索。
• 在下游推理过程中，通过多头注意力机制应用检索增强，以检索到的图像-报告对丰富图像特征。
• 将检索到的知识作为非参数化记忆组件，用于正则化并增强疾病分类与报告检索流程中的表征。
• 在MIMIC-CXR和CheXpert数据集上使用标准指标评估检索性能，并对索引组成与大小进行消融研究。
• 开展跨数据集评估，以评估在不同胸部X光片集合间的可迁移性与鲁棒性。

实验结果

研究问题

• RQ1 通过利用相关过往病例，检索增强是否能提升胸部X光片分析中的多标签疾病分类性能？
• RQ2 使用微调后的CLIP进行跨模态检索，是否能优于标准检索方法，更准确识别与疾病相关的图像-报告对？
• RQ3 检索增强特征在放射科报告检索中是否能达到或超过专用报告生成模型的性能？
• RQ4 检索索引的组成与大小如何影响下游性能？
• RQ5 该方法在具有领域偏移的不同胸部X光片数据集中，其泛化能力如何？

主要发现

• X-TRA 在多标签疾病分类任务上达到最先进性能，相比基线模型，F1分数提升超过5%。
• 该方法在报告检索任务中表现具有竞争力，在MIMIC-CXR数据集上达到或超过专用报告生成模型的性能。
• 检索增强同时提升了疾病分类与报告检索性能，当使用超过10万样本的检索索引时，性能达到最佳。
• 即使检索结果无用，模型仍能保持性能，表明其通过注意力门控机制具备鲁棒性。
• 跨数据集评估显示，未经微调时方法的可迁移性有限，但当检索索引使用新领域数据更新后，性能显著提升。
• 消融研究证实，标签感知微调对检索与疾病相关的内容至关重要；且在无检索时，随机检索的性能与X-TRA相当，表明该方法具备忽略无关信息的能力。