[论文解读] Weakly-Supervised Deep Learning Model for Prostate Cancer Diagnosis and Gleason Grading of Histopathology Images

Mohammad Mahdi Behzadi, Mohammad Madani+7 more|arXiv (Cornell University)|Dec 25, 2022

AI in cancer detection被引用 4

一句话总结

该论文提出了一种基于全切片图像（WSIs）的前列腺癌 Gleason 评分弱监督深度学习框架，采用基于 Transformer 的 MIL 模型识别判别性图像块，从高分块构建图结构，并通过门控注意力图卷积网络进行分类。该模型在 TCGA-PRAD、PANDA 和 Gleason 2019 挑战数据集上均达到最先进性能，准确率最高达 0.912，Cohen’s kappa 达 0.892。

ABSTRACT

Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.

研究动机与目标

• 解决全切片图像（WSIs）在前列腺癌诊断中完全标注的高成本与高时间消耗问题。
• 通过自动化分类过程，降低 Gleason 评分中的观察者间差异性。
• 通过建模 WSIs 中癌变图像块之间的空间与关系依赖性，提升分类准确性。
• 开发一种弱监督方法，在无需图像块级标注的情况下保持高性能。
• 在多个公开数据集及独立交叉验证集上验证模型性能。

提出的方法

• 采用基于 Transformer 的多实例学习（MIL）模型，根据图像块对全切片图像（WSI）级别标签的贡献度分配注意力分数。
• 使用自编码器从图像块中提取紧凑特征表示，降低计算负载。
• 构建图结构，其中节点为高分图像块，边连接每个图像块与其在空间邻近性上的 K 个最近邻。
• 应用门控注意力图神经网络（GNN），利用节点特征与图结构对 WSI 进行 Gleason 评分分类。
• 在袋级别标签（WSI 标签）上端到端训练模型，无需依赖图像块级标注。
• 将 MIL 模块中得分最高的图像块作为图构建的输入，聚焦于判别性区域。

实验结果

研究问题

• RQ1 弱监督深度学习模型是否能在无需图像块级标注的情况下实现 Gleason 评分的高准确率？
• RQ2 对判别性图像块之间空间关系的建模如何提升分类性能？
• RQ3 在此设置下，图构建中 ASG 模块数量与 K-最近邻的最优值是多少？
• RQ4 所选高分图像块的占比如何影响模型的鲁棒性与准确性？
• RQ5 所提出的框架是否在公开的前列腺癌 WSI 数据集上优于现有最先进模型？

主要发现

• 在 Gleason 2019 挑战数据集上，所提模型达到 0.912 的准确率与 0.892 的 Cohen’s kappa，优于基线模型。
• 在 PANDA 数据集上，模型准确率达到 0.957，Cohen’s kappa 为 0.885，展现出在不同数据集间的强大泛化能力。
• 消融实验表明，选择 60% 的高分图像块相比 10% 显著提升性能（准确率从约 75% 提升至约 90%）。
• 使用 8 个 ASG 模块在所有数据集上均达到最优性能，12 个模块仅带来微小增益但显著增加计算成本。
• KNN 参数对性能影响极小，K=10 在所有数据集中均表现最佳。
• t-SNE 可视化结果证实，模型学习到了不同 Gleason 评分等级之间判别性强且分离良好的特征表示。