[论文解读] SHISRCNet: Super-resolution And Classification Network For Low-resolution Breast Cancer Histopathology Image

Luyuan Xie, Cong Li+5 more|arXiv (Cornell University)|Jun 25, 2023

AI in cancer detection被引用 5

一句话总结

SHISRCNet 是一个统一的深度学习框架，能够对低分辨率乳腺癌组织病理学图像同时执行超分辨率重建与分类。其超分辨率模块采用多尺度选择性融合的多特征提取模块（MFEblock），分类模块则结合 SKNet 与 FPN，并引入跨尺度选择性融合模块，即使在输入为低分辨率时，也能实现接近最先进方法在高分辨率图像上训练的性能表现。

ABSTRACT

The rapid identification and accurate diagnosis of breast cancer, known as the killer of women, have become greatly significant for those patients. Numerous breast cancer histopathological image classification methods have been proposed. But they still suffer from two problems. (1) These methods can only hand high-resolution (HR) images. However, the low-resolution (LR) images are often collected by the digital slide scanner with limited hardware conditions. Compared with HR images, LR images often lose some key features like texture, which deeply affects the accuracy of diagnosis. (2) The existing methods have fixed receptive fields, so they can not extract and fuse multi-scale features well for images with different magnification factors. To fill these gaps, we present a extbf{S}ingle extbf{H}istopathological extbf{I}mage extbf{S}uper- extbf{R}esolution extbf{C}lassification network (SHISRCNet), which consists of two modules: Super-Resolution (SR) and Classification (CF) modules. SR module reconstructs LR images into SR ones. CF module extracts and fuses the multi-scale features of SR images for classification. In the training stage, we introduce HR images into the CF module to enhance SHISRCNet's performance. Finally, through the joint training of these two modules, super-resolution and classified of LR images are integrated into our model. The experimental results demonstrate that the effects of our method are close to the SOTA methods with taking HR images as inputs.

研究动机与目标

• 为解决从低分辨率组织病理学图像中诊断乳腺癌的挑战，此类图像常缺乏关键的纹理细节。
• 克服现有超分辨率模型中感受野固定的问题，该问题限制了在不同放大倍数下有效提取多尺度特征。
• 通过在单一端到端联合训练模型中整合超分辨率与分类任务，提升低分辨率图像上的分类准确率。
• 通过在分类分支训练过程中引入高分辨率图像，增强模型鲁棒性，即使输入为低分辨率图像亦能实现。
• 设计一种新型特征融合机制，有效结合超分辨率与分类分支中的多尺度特征。

提出的方法

• 超分辨率模块采用多特征提取模块（MFEblock），结合多尺度感受野，从低分辨率图像中提取分层特征。
• 提出一种新颖的多尺度选择性融合（MSF）机制，有效融合超分辨率模块中的多尺度特征，提升重建质量。
• 分类模块采用混合方法：SKNet 用于多尺度特征提取，FPN 用于构建特征金字塔，同时引入跨尺度选择性融合模块（CSFblock）以增强特征融合。
• 在分类分支训练过程中引入高分辨率图像，以改善特征学习与泛化能力，即使输入为低分辨率图像亦能实现。
• 整个模型通过联合优化超分辨率与分类损失实现端到端训练，实现共享特征学习。
• 在分类分支中应用对比学习损失（NT-Xent），以提升表示学习能力。

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效同时对低分辨率乳腺癌组织病理学图像执行超分辨率重建与分类？
• RQ2 在训练过程中引入高分辨率图像是否能提升处理低分辨率输入的模型性能？
• RQ3 所提出的多尺度选择性融合（MSF）机制在提升超分辨率质量方面，相较于标准拼接或固定感受野方法，效果如何？
• RQ4 将 SKNet 与 FPN 结合并引入新型 CSFblock，对多尺度特征提取与分类准确率的提升程度如何？
• RQ5 与独立训练相比，联合训练超分辨率与分类模块对整体诊断性能的影响如何？

主要发现

• 在 x2↓ 低分辨率图像上，SHISRCNet 在 40x 放大倍数下达到 97.49% 的分类准确率，100x 为 96.19%，200x 为 97.60%，400x 为 97.04%，接近在高分辨率图像上训练的最先进模型性能。
• 在 x4↓ 和 x8↓ 低分辨率图像上测试时，SHISRCNet 仍保持优异性能，分别在 40x、100x、200x 和 400x 下达到 94.15%、94.22%、95.14% 和 95.26% 的准确率，显著优于同一输入下的基线分类模型。
• 消融实验表明，若移除多尺度选择性融合（MSF）机制，PSNR 下降 2.48 dB，准确率下降约 1.5 个百分点，证实其在超分辨率质量中的关键作用。
• 若移除 FPN 与 CSFblock 的组合，准确率降至 93.98%，证明该混合多尺度特征提取策略在分类模块中的有效性。
• 若在训练期间不引入高分辨率图像监督，准确率下降超过 4 个百分点，证明高分辨率数据注入可显著提升模型泛化能力与鲁棒性。
• NT-Xent 对比学习损失有助于提升表示学习，移除后平均准确率下降约 2.4 个百分点。