[论文解读] SlideGraph+: Whole Slide Image Level Graphs to Predict HER2Status in Breast Cancer

Wenqi Lu, Michael S. Toss+3 more|arXiv (Cornell University)|Oct 12, 2021

AI in cancer detection被引用 15

一句话总结

SlideGraph+ 提出了一种图神经网络（GNN）框架，通过从苏木精-伊红（H&E）染色的乳腺癌全切片图像（WSI）构建全切片图像级别的图，直接预测HER2状态，通过基于图的表征学习捕捉全局组织结构和细胞上下文，在TCGA数据集上AUC >0.75，在独立数据集上AUC为0.8，优于当前最先进方法。

ABSTRACT

Human epidermal growth factor receptor 2 (HER2) is an important prognostic and predictive factor which is overexpressed in 15-20% of breast cancer (BCa). The determination of its status is a key clinical decision making step for selection of treatment regimen and prognostication. HER2 status is evaluated using transcroptomics or immunohistochemistry (IHC) through situ hybridisation (ISH) which require additional costs and tissue burden in addition to analytical variabilities in terms of manual observational biases in scoring. In this study, we propose a novel graph neural network (GNN) based model (termed SlideGraph+) to predict HER2 status directly from whole-slide images of routine Haematoxylin and Eosin (H&E) slides. The network was trained and tested on slides from The Cancer Genome Atlas (TCGA) in addition to two independent test datasets. We demonstrate that the proposed model outperforms the state-of-the-art methods with area under the ROC curve (AUC) values > 0.75 on TCGA and 0.8 on independent test sets. Our experiments show that the proposed approach can be utilised for case triaging as well as pre-ordering diagnostic tests in a diagnostic setting. It can also be used for other weakly supervised prediction problems in computational pathology. The SlideGraph+ code is available at https://github.com/wenqi006/SlideGraph.

研究动机与目标

• 开发一种直接从常规H&E染色全切片图像（WSI）预测HER2状态的方法，避免昂贵且可变的免疫组织化学（IHC）/原位杂交（ISH）检测。
• 克服计算病理学中基于图像块的深度学习模型的局限性，如全局上下文信息丢失以及对图像块级别标注的依赖。
• 利用图表征学习建模全切片图像级别组织的空间组织和生物学结构。
• 通过仅使用全切片图像级别标签实现弱监督学习，避免对像素级别标注的需求。
• 探索该模型在病理学工作流程中用于病例分诊和诊断检测预订单的临床实用性。

提出的方法

• 通过在多个放大倍数下从组织图像块中提取形态学和组织学特征，构建全切片图像级别的图。
• 使用图卷积网络（GCNs）在节点（图像块）之间聚合和传播特征，以捕捉长程空间依赖性和组织结构。
• 将细胞级别特征（如细胞核形态、DAB密度估计值）和上下文特征（如欧拉数、面积、偏心率）整合到节点表征中。
• 采用仅使用全切片图像级别标签（HER2+ 或 HER2−）的弱监督训练策略，避免对图像块级别标注的需求。
• 引入DAB密度回归头，从H&E图像中预测HER2特异性显色剂密度，增强模型的可解释性和性能。
• 应用图池化和读出层，将节点级别的预测聚合为最终的全切片图像级别分类得分。

实验结果

研究问题

• RQ1 基于图的深度学习模型是否能有效预测H&E染色全切片图像中的HER2状态，而无需依赖IHC或ISH？
• RQ2 SlideGraph+ 在AUC和跨独立数据集的鲁棒性方面，与当前最先进基于图像块的方法相比表现如何？
• RQ3 特定的核异型特征（如欧拉数的标准差、肿瘤细胞计数）与HER2阳性状态及模型预测得分的相关程度如何？
• RQ4 该模型是否能够捕捉到基于图像块的模型所遗漏的全切片图像级别生物上合理的组织结构和空间组织？
• RQ5 与传统的基于图像块的模型相比，SlideGraph+ 在训练和推理时间方面的效率如何？

主要发现

• SlideGraph+ 在《癌症基因组图谱》（TCGA）数据集上AUC达到0.75或更高，表明在大规模、多样化的队列中表现强劲。
• 在两个独立测试数据集中，模型AUC达到0.80，表明其在训练分布之外具有强大的泛化能力。
• 模型的预测得分与DAB密度估计值（HER2过度表达的关键组织学相关指标）具有强相关性（皮尔逊相关系数PCC = 0.63，95%置信区间0.62–0.64）。
• 核异型特征如欧拉数标准差（PCC = 0.49，p < 0.0001）和肿瘤细胞计数（PCC = 0.38，95%置信区间0.34–0.41）与HER2阳性显著相关。
• 该模型在计算效率方面表现更优，单张GPU上每张全切片图像的推理时间仅为0.4毫秒，远低于基于图像块基线模型的1.2秒。
• 特征和模型得分的密度图显示HER2阳性与HER2阴性病例之间存在明显分离，支持所学表征的生物学合理性。