[论文解读] Neural Stain Normalization and Unsupervised Classification of Cell Nuclei in Histopathological Breast Cancer Images

Edwin Yuan, Junkyo Suh|arXiv (Cornell University)|Nov 9, 2018

AI in cancer detection参考文献 9被引用 11

一句话总结

本文提出了一种用于H&E染色乳腺癌组织病理学图像中细胞核的染色归一化、无监督分类的深度学习流程。该方法采用基于CNN的染色归一化技术，使用U-Net进行细胞核分割，并采用基于InfoGAN的模型，基于形态学和颜色特征实现完全无监督的细胞核类型聚类，其在灵敏度和F1分数上均优于k-means基线方法。

ABSTRACT

In this paper, we develop a complete pipeline for stain normalization, segmentation, and classification of nuclei in hematoxylin and eosin (H&E) stained breast cancer histopathology images. In the first step, we use a CNN-based stain transfer technique to normalize the staining characteristics of (H&E) images. We then train a neural network to segment images of nuclei from the H&E images. Finally, we train an Information Maximizing Generative Adversarial Network (InfoGAN) to learn visual representations of different types of nuclei and classify them in an entirely unsupervised manner. The results show that our proposed CNN stain normalization yields improved visual similarity and cell segmentation performance compared to the conventional SVD-based stain normalization method. In the final step of our pipeline, we demonstrate the ability to perform fully unsupervised clustering of various breast histopathology cell types based on morphological and color attributes. In addition, we quantitatively evaluate our neural network - based techniques against various quantitative metrics to validate the effectiveness of our pipeline.

研究动机与目标

• 为解决不同实验室和扫描仪之间H&E染色存在高度变异性的问题，该问题阻碍了图像分析的一致性。
• 通过将染色外观归一化为参考标准，提升下游任务（如细胞核分割和分类）的性能。
• 开发一种完全无监督的方法，基于形态学和颜色特征对细胞核类型进行分类，而无需真实标签。
• 证明深度神经网络即使在无监督条件下，也能学习到解耦且有意义的细胞核类型表征。

提出的方法

• 训练一个基于CNN的染色迁移网络，通过学习颜色和空间特征的相关性，将H&E图像归一化为参考染色外观。
• 使用U-Net架构对染色归一化后的H&E图像进行细胞核分割，训练数据来自公开数据集。
• 采用基于InfoGAN的架构进行无监督分类，引入Lipschitz梯度惩罚和互信息损失，以促进解耦表征学习。
• 生成器学习根据潜在码生成逼真的细胞核图像，而判别器学习将这些潜在码分类为不同的细胞类型。
• 模型在染色归一化图像上进行端到端训练，利用潜在码将细胞核聚类为具有生物学意义的类型。
• 性能通过F1分数、准确率和混淆矩阵进行评估，并与k-means及基于ResNet-152特征的聚类基线方法进行比较。

实验结果

研究问题

• RQ1 与传统的SVD方法相比，基于CNN的染色归一化方法是否能显著提升视觉相似性与分割性能？
• RQ2 基于InfoGAN的无监督模型是否能有效在无真实标签的情况下对H&E染色组织病理学图像中的细胞核类型进行分类？
• RQ3 所提出的无监督模型在图像向量或深度特征上的性能，与传统聚类方法（如k-means）相比如何？
• RQ4 InfoGAN模型中学习到的表征在多大程度上捕捉了如核密度和颜色变化等生物相关特征？

主要发现

• 所提出的基于CNN的染色归一化方法在定量指标验证下，显著提升了细胞核分割性能，优于SVD基线方法。
• 基于InfoGAN的无监督分类模型在上皮细胞上的F1分数达到77.3%，优于k-means基线（46.1%）和ResNet-152 k-means基线（47.7%）。
• 该模型在上皮细胞上的灵敏度达到72.5%，而k-means基线仅为35%，表明其在检测具有生物学意义的特征方面表现更优。
• 混淆矩阵显示，最大的误分类错误出现在上皮细胞核与淋巴细胞核之间，表明即使对深度模型而言，细微的形态学和颜色差异也具有挑战性。
• 尽管生成图像具有高度逼真性，但模型的分类结果并不总是可被人类解释，表明机器与人类对细胞类型的感知存在差异。
• 模型的潜在空间捕捉到了核密度和细微颜色变化等低级特征，这些特征对于区分上皮细胞核与淋巴细胞核至关重要。