[论文解读] NuClick: From Clicks in the Nuclei to Nuclear Boundaries

Mostafa Jahanifar, Navid Alemi Koohbabnani+1 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Neural Network Applications参考文献 12被引用 7

一句话总结

NuClick 是一种深度学习框架，仅需对每个细胞核点击一次即可实现精确的细胞核实例分割。通过生成包含与排除图作为引导信号，它能够生成高质量的分割掩码，足以训练最先进模型，其性能在 LYON19 挑战赛中排名第一，所用标注即由 NuClick 生成。

ABSTRACT

Best performing nuclear segmentation methods are based on deep learning algorithms that require a large amount of annotated data. However, collecting annotations for nuclear segmentation is a very labor-intensive and time-consuming task. Thereby, providing a tool that can facilitate and speed up this procedure is very demanding. Here we propose a simple yet efficient framework based on convolutional neural networks, named NuClick, which can precisely segment nuclei boundaries by accepting a single point position (or click) inside each nucleus. Based on the clicked positions, inclusion and exclusion maps are generated which comprise 2D Gaussian distributions centered on those positions. These maps serve as guiding signals for the network as they are concatenated to the input image. The inclusion map focuses on the desired nucleus while the exclusion map indicates neighboring nuclei and improve the results of segmentation in scenes with nuclei clutter. The NuClick not only facilitates collecting more annotation from unseen data but also leads to superior segmentation output for deep models. It is also worth mentioning that an instance segmentation model trained on NuClick generated labels was able to rank first in LYON19 challenge.

研究动机与目标

• 减少组织学图像中手动细胞核标注的工作负担。
• 开发一种交互式、高效的细胞核分割标注方法，仅需最少的用户输入。
• 从单点点击生成高质量的训练标签，适用于训练深度学习模型。
• 验证 NuClick 生成的标注在真实世界深度学习应用中的实用性。

提出的方法

• 该模型采用受 U-Net 启发的编码器-解码器架构，结合残差和多尺度卷积块以提升特征学习能力。
• 它生成两个引导通道：以点击细胞核为中心的二维高斯分布作为包含图，以及突出邻近细胞核的排除图。
• 这些图与输入的 RGB 图像拼接，用于在训练和推理过程中引导网络。
• 采用加权混合损失函数，结合软 Dice 损失与加权二值交叉熵，以缓解类别不平衡问题并提高分割精度。
• 推理阶段，模型接收图像和用户点击位置作为输入，预测实例分割掩码。
• 该框架在标注数据集上进行训练，并通过微调以实现跨不同组织学数据的泛化能力。

实验结果

研究问题

• RQ1 每个细胞核仅需一次用户点击，是否能显著减少标注时间，同时保持高分割精度？
• RQ2 从单次点击生成的包含与排除图，能否作为深度学习方法进行细胞核分割的有效引导信号？
• RQ3 NuClick 生成的标注是否能产生足够高质量的训练数据，使深度模型性能接近使用真实标注训练的模型？
• RQ4 在无真实标注可用的真实世界挑战中，NuClick 生成的标签是否能被有效使用？

主要发现

• 在 CPM 数据集上，NuClick 的 Dice 分数为 0.8535，PQ 分数为 0.5878，优于现有方法。
• 在 Kumar 数据集上，NuClick 的 Dice 分数为 0.8243，PQ 分数为 0.5047，展现出强大的泛化能力。
• 使用 NuClick 生成标签训练的模型，其 Dice 和 PQ 分数与使用真实标注训练的模型几乎完全一致，差异仅为 0.01 和 0.003。
• 由 NuClick 生成的数据集使模型在 LYON19 挑战赛中排名第一，F1 分数达 0.7951，证实了合成标注的高保真度。
• 发现 NuClick 生成的标签质量比人工标注的真实标注更均匀，有效降低了标注者间差异。