[论文解读] Multimodal Whole Slide Foundation Model for Pathology

Tong Ding, Sophia J. Wagner+21 more|arXiv (Cornell University)|Nov 29, 2024

Radiomics and Machine Learning in Medical Imaging被引用 23

一句话总结

TITAN 是一个多模态全切片基础模型，在 335,645 张全切片图像上进行视觉自监督学习并与病理报告和 423,122 条合成字幕实现视觉-语言对齐的预训练，从而实现零样本、少样本和跨模态任务，而无需微调。

ABSTRACT

The field of computational pathology has been transformed with recent advances in foundation models that encode histopathology region-of-interests (ROIs) into versatile and transferable feature representations via self-supervised learning (SSL). However, translating these advancements to address complex clinical challenges at the patient and slide level remains constrained by limited clinical data in disease-specific cohorts, especially for rare clinical conditions. We propose TITAN, a multimodal whole slide foundation model pretrained using 335,645 WSIs via visual self-supervised learning and vision-language alignment with corresponding pathology reports and 423,122 synthetic captions generated from a multimodal generative AI copilot for pathology. Without any finetuning or requiring clinical labels, TITAN can extract general-purpose slide representations and generate pathology reports that generalize to resource-limited clinical scenarios such as rare disease retrieval and cancer prognosis. We evaluate TITAN on diverse clinical tasks and find that TITAN outperforms both ROI and slide foundation models across machine learning settings such as linear probing, few-shot and zero-shot classification, rare cancer retrieval and cross-modal retrieval, and pathology report generation.

研究动机与目标

• 开发一个通用的多模态病理基础模型，能够在切片级别而非 ROI 级别运行。
• 利用大规模 WSI 数据，通过视觉自监督学习和视觉-语言对齐与病理报告建立联系。
• 纳入合成字幕以在没有临床标签的情况下提升多模态理解。
• 展示在罕见疾病检索、癌症预后和跨模态任务中的泛化能力，且无需微调。

提出的方法

• 在 335,645 张全切片图像上使用视觉自监督学习对 TITAN 进行预训练。
• 在一个视觉-语言目标中将视觉表征与相应的病理报告对齐。
• 纳入由病理学多模态 AI 副驾驶生成的 423,122 条合成字幕。
• 在多样化的临床任务上评估零样本、少样本和线性探查，且无微调。

实验结果

研究问题

• RQ1 是否可以从大规模 WSI 和合成字幕派生的多模态全切片基础模型在资源受限的临床环境中实现无微调的泛化？
• RQ2 与 ROI 及切片基础模型相比，TITAN 在罕见癌症检索、跨模态检索和病理报告生成方面的表现如何？

主要发现

• TITAN 在线性探针、少样本和零样本分类方面超越了 ROI- 与切片基础模型。
• TITAN 在罕见癌症检索和跨模态检索任务中表现出色。
• TITAN 能生成病理报告并在无需临床标签的资源受限临床场景中实现泛化。