[论文解读] Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification

Le Hou, Dimitris Samaras+4 more|arXiv (Cornell University)|Apr 29, 2015

AI in cancer detection参考文献 43被引用 32

一句话总结

本文提出一种基于期望最大化（EM）方法的基于图像块的卷积神经网络（CNN），用于识别全切片组织图像（WSI）分类中的判别性图像块，即使在计算资源受限的情况下也能实现准确的癌症亚型分类。该方法在分类准确率上达到与病理学家之间观察者一致性的水平，优于图像级CNN在WSI和非癌性数据集上的表现。

ABSTRACT

Convolutional Neural Networks (CNN) are state-of-the-art models for many image classification tasks. However, to recognize cancer subtypes automatically, training a CNN on gigapixel resolution Whole Slide Tissue Images (WSI) is currently computationally impossible. The differentiation of cancer subtypes is based on cellular-level visual features observed on image patch scale. Therefore, we argue that in this situation, training a patch-level classifier on image patches will perform better than or similar to an image-level classifier. The challenge becomes how to intelligently combine patch-level classification results and model the fact that not all patches will be discriminative. We propose to train a decision fusion model to aggregate patch-level predictions given by patch-level CNNs, which to the best of our knowledge has not been shown before. Furthermore, we formulate a novel Expectation-Maximization (EM) based method that automatically locates discriminative patches robustly by utilizing the spatial relationships of patches. We apply our method to the classification of glioma and non-small-cell lung carcinoma cases into subtypes. The classification accuracy of our method is similar to the inter-observer agreement between pathologists. Although it is impossible to train CNNs on WSIs, we experimentally demonstrate using a comparable non-cancer dataset of smaller images that a patch-based CNN can outperform an image-based CNN.

研究动机与目标

• 解决直接在千兆像素级全切片组织图像（WSI）上训练CNN的计算不可行性问题。
• 通过利用编码细胞水平视觉模式的图像块级特征，提升癌症亚型分类性能。
• 构建一个鲁棒的决策融合模型，整合图像块级预测结果，同时考虑空间关系以及图像块间标签不一致性。
• 在无需图像块级标签的情况下，利用基于EM的框架自动识别判别性图像块。
• 证明当判别性特征以图像块尺度分散时，基于图像块的CNN可优于图像级CNN。

提出的方法

• 提出两级模型：一级CNN对单个图像块进行分类，二级模型将这些预测结果融合为图像级标签。
• 采用基于EM的算法，通过建模一个隐变量来判断图像块的真实标签是否与WSI的标签一致，迭代识别判别性图像块。
• 初始训练假设所有图像块均为判别性；随后在EM迭代中逐步移除置信度较低的图像块，直至收敛。
• 对概率图应用空间平滑，以增强判别区域的定位能力并减少噪声。
• 使用多分类逻辑回归或支持向量机（SVM）对图像块级预测结果的直方图进行图像级分类。
• 该方法在胶质瘤和非小细胞肺癌WSI上进行了验证，并进一步在轨道表面缺陷分级任务上测试其泛化能力。

实验结果

研究问题

• RQ1 基于图像块的CNN结合决策融合是否能在千兆像素级全切片组织图像上超越直接的图像级CNN分类？
• RQ2 在缺乏图像块级标签的情况下，如何自动识别判别性图像块？
• RQ3 与简单的投票或池化策略相比，基于EM的判别性图像块检测方法是否能提升分类准确率？
• RQ4 基于图像块的方法在癌症亚型分类中是否能达到与病理学家之间观察者一致性的水平？
• RQ5 当判别性特征以图像块尺度分散时，基于图像块的CNN是否仍优于图像级CNN，即使在较小的非癌性数据集上？

主要发现

• 所提出的EM-CNN-SVM方法在轨道表面缺陷分级任务中达到81.3%的准确率，显著优于基于图像的CNN-Image方法（77.0%准确率）。
• EM-CNN-Fea-SVM方法达到83.0%的准确率，超过预训练CNN-ImageFea-SVM基线方法（77.8%准确率）。
• 在胶质瘤和非小细胞肺癌WSI上，基于图像块的方法实现了与病理学家之间观察者一致性的分类准确率。
• 基于图像块的方法在轨道表面数据集上优于图像级CNN，证明当判别性模式分散时，图像块级特征更具有效性。
• 基于EM的方法成功识别出非判别性图像块，并通过迭代优化训练集提升了模型鲁棒性。
• 研究证实，当特征在图像中局部化且异质分布时，基于图像块训练的CNN可优于图像级CNN。