[论文解读] PLUTO: Pathology-Universal Transformer

Dinkar Juyal, Harshith Padigela+31 more|arXiv (Cornell University)|May 13, 2024

Cancer Genomics and Diagnostics被引用 8

一句话总结

PLUTO is a light-weight pathology foundation model pre-trained on 195M image tiles across diverse sites and stains, producing multi-scale embeddings that adapt to slide-, tissue-, and cell-level pathology tasks with task-specific heads. It matches or surpasses task-specific baselines while being more data-efficient and robust to distribution shifts.

ABSTRACT

Pathology is the study of microscopic inspection of tissue, and a pathology diagnosis is often the medical gold standard to diagnose disease. Pathology images provide a unique challenge for computer-vision-based analysis: a single pathology Whole Slide Image (WSI) is gigapixel-sized and often contains hundreds of thousands to millions of objects of interest across multiple resolutions. In this work, we propose PathoLogy Universal TransfOrmer (PLUTO): a light-weight pathology FM that is pre-trained on a diverse dataset of 195 million image tiles collected from multiple sites and extracts meaningful representations across multiple WSI scales that enable a large variety of downstream pathology tasks. In particular, we design task-specific adaptation heads that utilize PLUTO's output embeddings for tasks which span pathology scales ranging from subcellular to slide-scale, including instance segmentation, tile classification, and slide-level prediction. We compare PLUTO's performance to other state-of-the-art methods on a diverse set of external and internal benchmarks covering multiple biologically relevant tasks, tissue types, resolutions, stains, and scanners. We find that PLUTO matches or outperforms existing task-specific baselines and pathology-specific foundation models, some of which use orders-of-magnitude larger datasets and model sizes when compared to PLUTO. Our findings present a path towards a universal embedding to power pathology image analysis, and motivate further exploration around pathology foundation models in terms of data diversity, architectural improvements, sample efficiency, and practical deployability in real-world applications.

研究动机与目标

• 动机并解决病理AI在站点、扫描仪和染色相关变异导致的数据多样性与鲁棒性挑战。
• 开发一个通用病理基础模型（PLUTO），从多样数据源学习多尺度WSI 表征。
• 实现单一骨干网络对下游任务在幻灯片级、组织级和细胞/亚细胞级分析的高效适配。
• 在多个基准和模态下将 PLUTO 与最先进的任务特定模型和病理基础模型进行比较评估。

提出的方法

• 在50+来源的195M张切片上预训练轻量级 ViT 骨干（FlexiViT），采用自监督目标（DINOv2、iBOT）加 MAE 重构。
• 在 MAE 训练中引入基于傅里叶的重构损失，以分别优化低频和高频内容。
• 使用 FlexiViT 以允许可变补丁大小和多尺度掩码，实现高效的多分辨率预训练和自适应推断。
• 从切片中提取多尺度嵌入，并训练面向任务的适配头（幻灯片级MIL、组织级切片分类、以及细胞/亚细胞任务的实例分割头）。
• 适配头包括 Mask2Former、Mask R-CNN，以及为不同数据情境和标注粒度优化的其他轻量分类器。

实验结果

研究问题

• RQ1 单一的病理基础模型在多样化、多站点数据上训练，是否能为多尺度WSI（幻灯片、组织、细胞）和染色方案提供鲁棒的嵌入？
• RQ2 PLUTO 在幻灯片级分类、切片级分类和实例分割方面，与任务特定基线和现有的病理 FM 相比表现如何？
• RQ3 带有多尺度掩码和傅里叶损失的轻量骨干网络，是否能提高泛化、样本效率和实际病理工作流程的可部署性？
• RQ4 不同的适配头（MIL、Mask2Former、Mask R-CNN、线性分类器）如何影响在不同尺度和数据集上的表现？

主要发现

• PLUTO 在多样化基准上达到或超过任务特定基线和其他病理基础模型。
• 在 NSCLC 的幻灯片级亚分型任务中，PLUTO 在特征冻结的情况下，在域内达到 90.2 F1 和 94.0 AUROC，在域外达到 86.1 F1 和 91.2 AUROC，超越若干基线。
• 在 HER2 评分任务中，PLUTO 在域内冻结特征下达到 71.5 F1 和 89.5 AUROC，在域外达到 71.0 F1 和 93.7 AUROC，同样超越可比骨干网络。
• 在 CRC-100K 和 Camelyon17-WILDS 的切片分类任务中，使用 PLUTO 嵌入和线性头获得强劲准确性（CRC-100K: 96.6% Acc, 95.3% Bal. Acc; Camelyon17-WILDS: 96.2% Acc）。
• Gland 与 nuclei 分割基准（GlaS、PanNuke）在配合适当分割头（Mask2Former、Mask R-CNN 等）时，展示了与 PLUTO 竞争性的性能。