[论文解读] RudolfV: A Foundation Model by Pathologists for Pathologists

Jonas Dippel, Barbara Feulner+18 more|arXiv (Cornell University)|Jan 8, 2024

Zoonotic diseases and public health被引用 24

一句话总结

RudolfV 在经精心筛选、多样化的无标注数据集上进行病理学基础模型的预训练，采用病理学家引导的分组和染色优先的增强，相较于以往工作在更少的切片和更小的模型下实现了强基线。

ABSTRACT

Artificial intelligence has started to transform histopathology impacting clinical diagnostics and biomedical research. However, while many computational pathology approaches have been proposed, most current AI models are limited with respect to generalization, application variety, and handling rare diseases. Recent efforts introduced self-supervised foundation models to address these challenges, yet existing approaches do not leverage pathologist knowledge by design. In this study, we present a novel approach to designing foundation models for computational pathology, incorporating pathologist expertise, semi-automated data curation, and a diverse dataset from over 15 laboratories, including 58 tissue types, and encompassing 129 different histochemical and immunohistochemical staining modalities. We demonstrate that our model "RudolfV" surpasses existing state-of-the-art foundation models across different benchmarks focused on tumor microenvironment profiling, biomarker evaluation, and reference case search while exhibiting favorable robustness properties. Our study shows how domain-specific knowledge can increase the efficiency and performance of pathology foundation models and enable novel application areas.

研究动机与目标

• 通过解决不同实验室、染色、扫描仪之间的数据稀缺和数据集漂移，推动鲁棒的组织病理 AI 发展。
• 在病理学家输入下 curate 一个多样化的无标注数据集，以提升自监督学习。
• 将领域知识融入数据分组、聚类和增强，以提升泛化能力。
• 在公开和内部基准上评估基础模型，并与最新方法进行对比。

提出的方法

• 在来自 15 个欧盟/美国实验室的 103,849 张全玻片图像 (WSIs) 和 7.91 亿个 patch，覆盖 3 种染色类别（H&E、IHC、其他）。
• 将切片分组为 26 个语义连贯的切片组，以确保组内同质性和组间异质性。
• 使用 36 个计算机视觉特征对 patch 进行聚类，随机抽取每张切片 500 个 patch，执行 k-means（k=100），并让病理学家分配 9 个组织簇并设定采样权重。
• 通过在 patch 之间转移染色/颜色特征并应用取向性增强来扩充训练；在 DINOv2 训练中去除太阳化（solarization）。
• 使用 DINOv2 自监督框架对 ViT-L/14 进行 625k 次迭代、960 的 batch size 的预训练，权重来自先前的自监督学习模型。

实验结果

研究问题

• RQ1 一个通过病理学家引导的数据 curate 的基础模型，是否能在组织病理任务上超越更大但整理程度较低的模型？
• RQ2 将非 H&E 染色以及显式的染色/颜色增强引入，是否能提升染色不变性和下游表现？
• RQ3 在多样化的组织病理数据上，经过 curate 的 patch/slide 分组对 SSL 表征学习有何影响？
• RQ4 领域感知的增强和 patch 采样对在公开与内部基准上的泛化有何影响？

主要发现

• RudolfV 在公开基准上使用数量级更少的切片和更小的模型就实现了与最先进方法相当的性能。
• 在公开任务的线性探测上（PCAM、MHIST、CRC-100K、TIL Det.、MSI CRC、MSI STAD），RudolfV 分别达到 0.928、0.827、0.960、0.939、0.766、0.768，平均为 0.905。
• 在内部 IHC/HE 细胞分类任务中，RudolfV 在微调和线性探测上均优于竞争对手（IHC：微调 0.8745 vs 线性 0.6567；HE：微调 0.8864 vs 线性 0.7352）。
• 与 Phikon、ViT/DINO 等基线方法相比，RudolfV 在大多数基准中显示出显著提升，表明病理领域知识的有效整合。
• 作者预期在更大数据和模型下会获得进一步提升，并展望将其应用于现实诊断和多模态任务的部署。