[论文解读] Unsupervised Dense Nuclei Detection and Segmentation with Prior Self-activation Map For Histology Images

Pingyi Chen, Chenglu Zhu+5 more|arXiv (Cornell University)|Oct 14, 2022

AI in cancer detection被引用 4

一句话总结

该论文提出了一种无监督深度学习框架，用于在组织病理学图像中进行密集细胞核的检测与分割。该框架采用先验自激活模块（PSM），利用自监督特征生成伪掩码，无需任何人工标注。通过利用浅层网络的梯度激活图以及语义引导生成器，该方法在两个公开的病理数据集上实现了具有竞争力的性能，在无标签情况下优于完全监督和弱监督基线方法。

ABSTRACT

The success of supervised deep learning models in medical image segmentation relies on detailed annotations. However, labor-intensive manual labeling is costly and inefficient, especially in dense object segmentation. To this end, we propose a self-supervised learning based approach with a Prior Self-activation Module (PSM) that generates self-activation maps from the input images to avoid labeling costs and further produce pseudo masks for the downstream task. To be specific, we firstly train a neural network using self-supervised learning and utilize the gradient information in the shallow layers of the network to generate self-activation maps. Afterwards, a semantic-guided generator is then introduced as a pipeline to transform visual representations from PSM to pixel-level semantic pseudo masks for downstream tasks. Furthermore, a two-stage training module, consisting of a nuclei detection network and a nuclei segmentation network, is adopted to achieve the final segmentation. Experimental results show the effectiveness on two public pathological datasets. Compared with other fully-supervised and weakly-supervised methods, our method can achieve competitive performance without any manual annotations.

研究动机与目标

• 为解决组织病理学图像中密集细胞核分割的高成本与低效率的人工标注问题。
• 开发一种自监督框架，消除对像素级或实例级标注的需求。
• 利用自监督网络的低级特征生成可靠的伪掩码，用于下游分割任务。
• 实现在全切片图像中密集分布细胞核的端到端无监督检测与分割。

提出的方法

• 提出一种先验自激活模块（PSM），利用自监督网络浅层的梯度信息生成自激活图，聚焦于细胞级结构而无需标注。
• 引入一种语义引导生成器（SGG），将PSM生成的特征转换为像素级的伪掩码，用于下游任务。
• 采用两阶段训练流程：细胞核检测网络（NDN）用于实例定位，细胞核分割网络（NSN）用于密集像素级分割。
• 通过对比学习（如SimCLR风格）在无标签数据上进行自监督预训练，以学习鲁棒表征，再生成伪掩码。
• 采用联合训练策略，通过伪掩码同时引入像素级与目标级监督，其中超参数λ控制两种监督类型的平衡。
• 利用浅层的类激活图（CAM）类注意力机制，增强在缺乏真实标签情况下的细胞核边界定位能力。

实验结果

研究问题

• RQ1 自监督网络浅层生成的自激活图能否作为无监督细胞核分割的有效伪监督？
• RQ2 所提出的先验自激活模块（PSM）在无标注条件下，对密集且微小的物体（如细胞核）是否能生成有意义的激活模式？
• RQ3 在无真实标注的情况下，同时使用像素级与目标级伪掩码进行联合训练，对分割性能的提升程度如何？
• RQ4 所提出的框架能否泛化到组织病理学以外的其他生物医学图像类型，如眼底图像或细胞学图像？

主要发现

• 所提出的无监督方法在两个公开病理数据集上实现了具有竞争力的性能，与完全监督和弱监督方法相当，且完全无需人工标注。
• 通过同时引入像素级与目标级伪掩码进行联合训练，显著提升了分割指标，IoU从无目标级监督时的0.501提升至使用λ=0.5时的0.610。
• 模型性能对超参数λ具有鲁棒性，在λ值从0.5到10的范围内，各项指标变化极小，表明伪掩码加权策略具有稳定性。
• 先验自激活模块（PSM）即使在复杂场景（如眼底图像）下也能生成有意义的激活图，清晰突出视盘与视杯区域。
• 该方法可泛化至其他图像类型，包括胸部X光片与细胞学图像，但在自然图像中因存在多个显著目标而出现注意力分配模糊，导致性能下降。
• 可视化结果证实，PSM能有效突出细胞核边界与亚细胞结构，展现出其在无监督生物医学图像分析中的潜力。