[论文解读] Weakly Supervised Cell Instance Segmentation by Propagating from Detection Response

Kazuya Nishimura, Dai Fei Elmer Ker+1 more|arXiv (Cornell University)|Nov 29, 2019

Cell Image Analysis Techniques参考文献 10被引用 8

一句话总结

本文提出了一种弱监督实例细胞分割方法，利用中心点标注训练U-Net进行细胞检测，随后通过引导反向传播识别贡献像素以实现精确的实例分割。该方法在多个显微镜数据集上实现了最先进性能，包括在仅使用核染色荧光图像作为训练数据、无任何人工作分割掩码的场景下。

ABSTRACT

Cell shape analysis is important in biomedical research. Deep learning methods may perform to segment individual cells if they use sufficient training data that the boundary of each cell is annotated. However, it is very time-consuming for preparing such detailed annotation for many cell culture conditions. In this paper, we propose a weakly supervised method that can segment individual cell regions who touch each other with unclear boundaries in dense conditions without the training data for cell regions. We demonstrated the efficacy of our method using several data-set including multiple cell types captured by several types of microscopy. Our method achieved the highest accuracy compared with several conventional methods. In addition, we demonstrated that our method can perform without any annotation by using fluorescence images that cell nuclear were stained as training data. Code is publicly available in "https://github.com/naivete5656/WSISPDR".

研究动机与目标

• 解决在非侵入性显微镜图像中密集重叠、边界不清晰的细胞个体分割挑战。
• 通过仅使用弱监督（如中心点位置）减少对耗时且详细的细胞边界标注的依赖。
• 通过利用荧光核染色作为训练数据，实现在无需任何人工标注细胞区域掩码情况下的实例分割。
• 在复杂、密集的细胞培养中提升分割精度，此类场景下传统方法因光学伪影和形状可变性而失效。
• 证明利用检测头的网络激活分析实现弱监督实例分割的可行性。

提出的方法

• 使用弱标签（中心点位置）对U-Net进行训练，以预测细胞中心点的可能性，从而隐式编码细胞形状信息。
• 对检测网络的特征图应用引导反向传播，以识别对每个细胞检测有贡献的像素。
• 通过阈值化和后处理操作，将引导反向传播生成的贡献图用于生成实例分割掩码。
• 在显微镜图像块上端到端训练该方法，使用中心点标注作为检测任务的监督信号。
• 在零标注场景下，使用荧光核图像作为输入进行训练，无需任何人工分割。
• 将多个细胞的贡献图进行融合，生成最终的实例分割预测结果。

实验结果

研究问题

• RQ1 仅使用中心点标注的弱监督方法能否在密集排列的细胞中实现准确的实例分割？
• RQ2 从检测网络中提取的引导反向传播能否有效识别区域特定的贡献以实现实例分割？
• RQ3 该方法是否能在不重新训练的情况下泛化至不同细胞类型和显微镜模态？
• RQ4 是否仅通过使用核染色荧光图像作为训练数据，即可完全消除对人工细胞边界标注的需求？
• RQ5 与现有弱监督和全监督分割方法相比，该方法在准确性和鲁棒性方面表现如何？

主要发现

• 所提方法在所有数据集的细胞检测任务中均取得最高F值，尤其在仅使用荧光核图像的无标注数据集上表现最佳。
• 在实例分割任务中，该方法在所有测试数据集（包括C2C12、B23P17和NSC）上均取得最高的平均Dice系数（mDice），优于Bensh、Yin和Chalfoun方法。
• 在C2C12数据集上，该方法mDice达到0.82，显著优于次优方法（0.76）。
• 该方法在多种成像条件下表现出鲁棒性，包括相位对比、微分干涉对比以及不同细胞密度。
• 在零标注设置下，该方法仅使用核染色图像即实现mDice为0.78，证明了无标注训练的可行性。
• 所有方法（包括本方法）在极薄边界区域均表现不佳，表明未来工作仍需解决该挑战。