[论文解读] Self supervised learning improves dMMR/MSI detection from histology slides across multiple cancers

Charlie Saillard, Olivier Dehaene+5 more|arXiv (Cornell University)|Sep 13, 2021

Genetic factors in colorectal cancer被引用 19

一句话总结

本研究提出一种自监督学习（SSL）方法，采用MoCo V2在《癌症基因组图谱》（TCGA）的组织学图像上预训练深度神经网络，显著提升了对结直肠癌和胃癌中dMMR/MSI状态的检测能力。该方法在结直肠癌和胃癌中的AUC分别达到0.92和0.83，表现优于当前最先进水平，且在外部队列中展现出强大的泛化能力，同时能更准确识别与生物学相关的组织学模式。

ABSTRACT

Microsatellite instability (MSI) is a tumor phenotype whose diagnosis largely impacts patient care in colorectal cancers (CRC), and is associated with response to immunotherapy in all solid tumors. Deep learning models detecting MSI tumors directly from H&E stained slides have shown promise in improving diagnosis of MSI patients. Prior deep learning models for MSI detection have relied on neural networks pretrained on ImageNet dataset, which does not contain any medical image. In this study, we leverage recent advances in self-supervised learning by training neural networks on histology images from the TCGA dataset using MoCo V2. We show that these networks consistently outperform their counterparts pretrained using ImageNet and obtain state-of-the-art results for MSI detection with AUCs of 0.92 and 0.83 for CRC and gastric tumors, respectively. These models generalize well on an external CRC cohort (0.97 AUC on PAIP) and improve transfer from one organ to another. Finally we show that predictive image regions exhibit meaningful histological patterns, and that the use of MoCo features highlighted more relevant patterns according to an expert pathologist.

研究动机与目标

• 通过深度学习提升从苏木精-伊丽莎白红染色（H&E）全切片图像中检测dMMR/MSI状态的准确性。
• 通过在组织学数据上利用自监督学习，克服ImageNet预训练模型在医学影像中的局限性。
• 提升模型在不同癌症类型及外部数据集上的泛化能力。
• 验证自监督特征是否能突出与MSI相关的生物学意义显著的组织学模式。
• 实现在MSI发生率较低、常规检测不作为标准的癌症类型中更广泛、成本更低的MSI筛查。

提出的方法

• 在TCGA的H&E染色全切片图像上，使用MoCo V2对ResNet-50主干网络进行无标签预训练。
• 在TCGA中超过1,000张结直肠癌和500多张胃癌切片上训练SSL模型，采用对比学习学习可泛化的特征。
• 在冻结的MoCo学习特征基础上，使用均值池化（MeanPool）、Chowder和DeepMIL架构微调线性分类器，实现MSI/MSS分类。
• 在多个数据集和评估协议（包括交叉验证和外部队列测试）下，与ImageNet预训练模型进行性能对比。
• 采用基于注意力机制的MIL模型（DeepMIL、Chowder）将切片级别特征聚合为全切片预测。
• 通过分析注意力图并将其与专家标注的感兴趣区域进行比较，验证特征的可解释性。

实验结果

研究问题

• RQ1 在结直肠癌和胃癌中，组织学图像上的自监督学习是否能优于ImageNet预训练方法用于MSI检测？
• RQ2 基于MoCo的特征学习是否能提升对未见队列（如PAIP结直肠癌数据集）的泛化能力？
• RQ3 SSL特征是否能突出与MSI相关的生物学生物学意义显著的组织学模式，经由病理专家确认？
• RQ4 在跨癌症类型迁移学习中，SSL模型的性能与依赖ImageNet预训练的最先进模型相比如何？
• RQ5 仅在组织学数据上进行预训练，能在多大程度上提升模型在不同癌症类型间的可迁移性？

主要发现

• MoCo V2预训练模型在TCGA结直肠癌（TCGA-CRC）中达到0.92的AUC，较ImageNet预训练基线在交叉验证中提升+0.07。
• 在胃癌（TCGA-Gastric）中，MoCo模型达到0.83的AUC，较ImageNet基线提升+0.06。
• 该模型在外部结直肠癌队列（PAIP）中表现出稳健的泛化能力，AUC达0.97，表明其具有极强的可迁移性。
• 当在结直肠癌和胃癌数据上联合预训练（MoCo-CRC-Gastric）时，模型在所有三种分类器（MeanPool、Chowder、DeepMIL）中均达到0.88的AUC，证明其具备跨器官的迁移能力。
• 病理专家确认，MoCo特征生成的注意力图准确突出了临床相关区域，如肿瘤浸润淋巴细胞和免疫细胞丰富的间质区域。
• 与ImageNet预训练模型相比，MoCo基特征始终能更准确地突出更相关且具有生物学可解释性的组织学模式。