[论文解读] Phikon-v2, A large and public feature extractor for biomarker prediction

Alexandre Filiot, Paul Jacob+2 more|arXiv (Cornell University)|Sep 13, 2024

Machine Learning in Bioinformatics被引用 17

一句话总结

Phikon-v2 是一个在来自 30+ 个癌症部位的 4.60 亿个组织切片上进行自监督学习的 ViT-L 特征提取器，在多队列评估中具有具竞争力的生物标志物预测性能，并且在多基线方法上具有超越表现。集成进一步显著提升下游的 AUC。

ABSTRACT

Gathering histopathology slides from over 100 publicly available cohorts, we compile a diverse dataset of 460 million pathology tiles covering more than 30 cancer sites. Using this dataset, we train a large self-supervised vision transformer using DINOv2 and publicly release one iteration of this model for further experimentation, coined Phikon-v2. While trained on publicly available histology slides, Phikon-v2 surpasses our previously released model (Phikon) and performs on par with other histopathology foundation models (FM) trained on proprietary data. Our benchmarks include eight slide-level tasks with results reported on external validation cohorts avoiding any data contamination between pre-training and evaluation datasets. Our downstream training procedure follows a simple yet robust ensembling strategy yielding a +1.75 AUC increase across tasks and models compared to one-shot retraining (p<0.001). We compare Phikon (ViT-B) and Phikon-v2 (ViT-L) against 14 different histology feature extractors, making our evaluation the most comprehensive to date. Our result support evidences that DINOv2 handles joint model and data scaling better than iBOT. Also, we show that recent scaling efforts are overall beneficial to downstream performance in the context of biomarker prediction with GigaPath and H-Optimus-0 (two ViT-g with 1.1B parameters each) standing out. However, the statistical margins between the latest top-performing FMs remain mostly non-significant; some even underperform on specific indications or tasks such as MSI prediction - deposed by a 13x smaller model developed internally. While latest foundation models may exhibit limitations for clinical deployment, they nonetheless offer excellent grounds for the development of more specialized and cost-efficient histology encoders fueling AI-guided diagnostic tools.

研究动机与目标

• 推动需要大规模、在域内自监督 histology 预训练以提高生物标志物预测的必要性。
• 扩大数据和模型规模以评估 histology foundation model 的扩展收益。
• 提供一个公开号、非商业的特征提取器，供研究人员基准测试与构建。
• 在多个外部队列中评估 Phikon-v2 以测试泛化能力和数据泄漏控制。

提出的方法

• 在 58,359 个公开可用的 WSIs 中提取的 460,060,584 个切片上使用 DINOv2 预训练 ViT-L 模型，覆盖 30+ 个癌症部位。
• 使用 20x 放大倍数的组织掩模基础切片提取流程（224x224 切片），要求组织含量至少 60%。
• 通过两步 MIL 设置进行微调和评估：使用冻结的提取器提取补丁特征，然后用 ABMIL 汇聚进行幻灯片级预测。
• 对每个任务采用 5-case 标签分层分割和 5 折交叉验证，训练 25 个 ABMIL 模型的集合，然后进行外部验证推断集合。
• 将 Phikon-v2（ViT-L）与 Phikon（ViT-B）及其他 14 个 histology 编码器在 8 个下游任务中比较，使用自举 AUC 和 Fisher-置换检验。

实验结果

研究问题

• RQ1 在用 DINOv2 同时扩大预训练数据量和模型规模时，是否在下游性能上优于较小的基线和之前的 Phikon 模型？
• RQ2 与其他公开 histology 编码器相比，Phikon-v2 在多样的外部持有生物标志物任务上表现如何？
• RQ3 集成与一次性再训练在幻灯片级生物标志物预测上的影响如何？
• RQ4 在跨任务和数据集上是否存在一贯的性能趋势，可为 histology foundation 模型的部署提供依据？

主要发现

• Phikon-v2（ViT-L）在 8 个外部 slide-level 任务中与先进的 histology foundation 模型具有竞争力的性能。
• 在所有任务中，集成预测相对于一次性再训练平均提升 AUC +1.75 至 +1.75（p<0.001）。
• 与 Phikon 和其他 14 个提取器相比，ViT-L+ 模型（包括 Phikon-v2）通常位于前列，但某些任务存在依赖于任务的变动。
• 基于 DINOv2 的扩展通常有利于下游生物标志物预测，尽管在大多数任务中顶尖模型之间的差异并非显著。
• 专门的较小模型（如基于 iBOT 的 MSI 预测器）在特定任务上可以超越更大规模的 FM，强调仅靠扩展规模并不能保证最优的生物标志物性能。
• 集成提供稳健的增益，且在弱监督 histology 任务的基准和实际部署中应优先考虑。