[论文解读] Multi-Stage Pathological Image Classification using Semantic Segmentation

Shusuke Takahama, Yusuke Kurose+6 more|arXiv (Cornell University)|Oct 10, 2019

AI in cancer detection参考文献 34被引用 7

一句话总结

本文提出了一种多阶段病理图像分类框架，结合基于图像块的CNN特征提取与全切片语义分割，以同时利用局部和全局上下文信息，其准确率高于传统的仅基于图像块的方法。通过保留梯度并选择性训练，该方法在GPU内存受限条件下实现了端到端学习，生成了更平滑、更具临床实用价值的肿瘤概率热图，显著减少了假阳性的‘肿瘤点’。

ABSTRACT

Histopathological image analysis is an essential process for the discovery of diseases such as cancer. However, it is challenging to train CNN on whole slide images (WSIs) of gigapixel resolution considering the available memory capacity. Most of the previous works divide high resolution WSIs into small image patches and separately input them into the model to classify it as a tumor or a normal tissue. However, patch-based classification uses only patch-scale local information but ignores the relationship between neighboring patches. If we consider the relationship of neighboring patches and global features, we can improve the classification performance. In this paper, we propose a new model structure combining the patch-based classification model and whole slide-scale segmentation model in order to improve the prediction performance of automatic pathological diagnosis. We extract patch features from the classification model and input them into the segmentation model to obtain a whole slide tumor probability heatmap. The classification model considers patch-scale local features, and the segmentation model can take global information into account. We also propose a new optimization method that retains gradient information and trains the model partially for end-to-end learning with limited GPU memory capacity. We apply our method to the tumor/normal prediction on WSIs and the classification performance is improved compared with the conventional patch-based method.

研究动机与目标

• 解决基于图像块的分类方法在全切片图像（WSIs）中忽略全局上下文和相邻图像块关系的局限性。
• 通过整合局部图像块级特征与全局全切片尺度上下文，提升分类性能。
• 在GPU内存容量受限的条件下，实现联合分类与分割模型的端到端训练。
• 生成可临床操作的肿瘤概率热图，最大限度减少需病理科医生审查的假阳性‘肿瘤点’。

提出的方法

• 该方法采用两阶段流程：首先，CNN从高分辨率WSIs中裁剪出的小图像块中提取特征。
• 将这些图像块特征聚合后输入语义分割模型，生成包含全局空间上下文的全切片肿瘤概率热图。
• 提出一种新颖的优化策略，在反向传播过程中保留梯度并选择性训练特征提取器，同时固定分割模型以减少内存占用。
• 采用内存高效的微调方法，每次迭代仅处理部分图像块，实现端到端训练。
• 该框架结合局部图像块级分类与全局分割，提升决策一致性并减少噪声预测。
• 该方法应用于WSI分类任务，基于Camelyon16和Camelyon17数据集，使用标准指标进行性能评估。

实验结果

研究问题

• RQ1 将全局空间上下文整合到基于图像块的分类中，是否能提升全切片图像上肿瘤/正常分类的准确率？
• RQ2 在GPU内存受限的条件下，如何实现联合分类与分割模型的端到端训练？
• RQ3 与标准的基于图像块的分类器相比，所提出的方法是否能减少预测热图中的假阳性‘肿瘤点’？
• RQ4 该模型能否在不同WSI数据集上泛化，包括存在小范围或稀疏肿瘤区域的数据集？
• RQ5 在基准数据集上，该方法与当前最先进的仅基于图像块的分类模型相比，性能如何？

主要发现

• 在Camelyon16数据集上，所提方法达到了98.14%的准确率和99.24%的PR-AUC，显著优于仅分类器基线（96.23%准确率，96.39% PR-AUC）。
• 在Camelyon17数据集上，该方法的患者级别κ系数达到76.4，高于仅分类器基线方法的71.9。
• 所提模型生成的预测热图中孤立的‘肿瘤点’数量少于仅基于图像块的方法，因此对病理科医生的审查更具临床实用性。
• 该模型成功识别出WSI中微小的肿瘤区域，即使肿瘤区域极小或呈斑驳分布。
• 内存高效的训练策略实现了极低GPU内存开销的端到端学习，使大规模WSI分析成为可能。