[论文解读] Towards Large-Scale Training of Pathology Foundation Models

kaiko. ai, Nanne Aben+8 more|arXiv (Cornell University)|Mar 24, 2024

AI in cancer detection被引用 10

一句话总结

这篇论文提出一个可扩展的管线，用于使用在线打补丁训练大型病理基础模型；在 TCGA 数据上评估多种超参数和放大倍数，并发布一个用于标准化下游任务的评估框架 eva。

ABSTRACT

Driven by the recent advances in deep learning methods and, in particular, by the development of modern self-supervised learning algorithms, increased interest and efforts have been devoted to build foundation models (FMs) for medical images. In this work, we present our scalable training pipeline for large pathology imaging data, and a comprehensive analysis of various hyperparameter choices and training techniques for building pathology FMs. We release and make publicly available the first batch of our pathology FMs (https://github.com/kaiko-ai/towards_large_pathology_fms) trained on open-access TCGA whole slide images, a commonly used collection of pathology images. The experimental evaluation shows that our models reach state-of-the-art performance on various patch-level downstream tasks, ranging from breast cancer subtyping to colorectal nuclear segmentation. Finally, to unify the evaluation approaches used in the field and to simplify future comparisons of different FMs, we present an open-source framework (https://github.com/kaiko-ai/eva) designed for the consistent evaluation of pathology FMs across various downstream tasks.

研究动机与目标

• 展示一个可扩展的病理基础模型训练管线，针对大规模 WSIs。
• 分析初始化、放大倍数混合、数据规模等超参数对下游性能的影响。
• 表明在线打补丁能够实现高吞吐的补丁加载，无需离线预创建。
• 提供一个开放框架（eva），用于跨下游任务的一致评估。

提出的方法

• 开发 Online Patching，用于从存储于 blob 存储中的 WSIs 进行高吞吐、补丁级别加载。
• 使用 TCGA 的补丁在多种放大倍数下，利用 DINO 和 DINOv2 对 ViT 基础模型进行预训练。
• 从 ImageNet SSL 权重初始化并研究收敛性收益。
• 使用线性探针，在多个补丁级下游任务（BACH, CRC, MHIST, PCam, TP53, CoNSeP）上评估模型。
• 比较模型规模和放大倍数策略，以评估鲁棒性和泛化。

实验结果

研究问题

• RQ1 在线打补丁是否能够实现可扩展、具有多样性的补丁采样而不影响性能？
• RQ2 初始化和在 ImageNet 上的预训练如何影响病理 FM 的收敛性与下游准确性？
• RQ3 在多放大倍数下训练对鲁棒性和任务性能有何影响？
• RQ4 训练数据规模（切片和补丁）如何影响分布内/分布外的性能？

主要发现

• 在线打补丁在与最先进方法相比时具有竞争力或更高的补丁级性能，同时实现数据处理的可扩展性。
• 从 ImageNet 预训练权重初始化可加速收敛并提升下游性能。
• 在多放大倍数下训练可提升鲁棒性，并且优于单一放大倍数模型。
• 增加训练切片数量通常会提高性能，但收益趋于递减，且需要多样化的数据以更好地泛化到 OOD 数据。
• 增加不同训练补丁的数量可以提升 ID 性能，对 OOD 任务的增益有限，除非显著增加补丁多样性。