[论文解读] Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes

Jingru Yi, Pengxiang Wu+5 more|arXiv (Cornell University)|Jul 22, 2019

Advanced Image and Video Retrieval Techniques参考文献 12被引用 9

一句话总结

本文提出一种基于多尺度关键点图的细胞实例分割方法，通过检测细胞的五个几何点（四个角点和中心点）生成鲁棒的边界框，从而在细胞密集或重叠场景下实现精确分割。该方法优于Mask R-CNN和DCAN等最先进方法，在神经细胞数据集上达到79.30%的AP@0.5，在细胞核数据集上达到80.14%的AP@0.5，具有多尺度检测能力。

ABSTRACT

Most existing methods handle cell instance segmentation problems directly without relying on additional detection boxes. These methods generally fails to separate touching cells due to the lack of global understanding of the objects. In contrast, box-based instance segmentation solves this problem by combining object detection with segmentation. However, existing methods typically utilize anchor box-based detectors, which would lead to inferior instance segmentation performance due to the class imbalance issue. In this paper, we propose a new box-based cell instance segmentation method. In particular, we first detect the five pre-defined points of a cell via keypoints detection. Then we group these points according to a keypoint graph and subsequently extract the bounding box for each cell. Finally, cell segmentation is performed on feature maps within the bounding boxes. We validate our method on two cell datasets with distinct object shapes, and empirically demonstrate the superiority of our method compared to other instance segmentation techniques. Code is available at: https://github.com/yijingru/KG_Instance_Segmentation.

研究动机与目标

• 为解决实例分割中重叠或粘连细胞分离的挑战，此类方法常因缺乏全局上下文而失效。
• 克服基于锚框检测器在目标检测中的局限性，特别是小尺寸或不规则形状细胞的类别不平衡与泛化能力差问题。
• 通过关键点检测与基于图的分组方法，利用几何先验提升细胞实例分割的边界框提议质量。
• 通过融合多尺度特征图与实例特定的ROI细化，提升分割精度。

提出的方法

• 在多尺度特征图上使用关键点检测头，检测每个细胞的五个预定义几何点（左上、右上、左下、右下和中心点）。
• 通过热力图、单点偏移图和组偏移图预测，定位关键点并估计其在不同尺度下的空间关系。
• 利用对角线或三点组合的几何一致性，通过关键点图将检测到的点分组为有效的边界框提议。
• 从分组的关键点生成边界框，并在这些框内裁剪特征图，用于实例特定的分割。
• 采用ResNet-50主干网络，结合多尺度特征提取（s1至s4），以提升对不同尺寸细胞的检测能力。
• 在裁剪的ROI补丁上使用专用分割分支进行最终实例分割，相比全局特征图分割，显著提升了定位精度。

实验结果

研究问题

• RQ1 与基于锚框的方法相比，基于关键点并引入几何先验的检测器是否能提升细胞实例分割的边界框提议质量？
• RQ2 多尺度关键点检测是否能提升对多种尺寸细胞（尤其是大尺寸或拉长细胞）的检测能力？
• RQ3 对检测到的关键点进行基于图的分组是否能增强对部分或缺失关键点检测的鲁棒性？
• RQ4 所提方法在分离重叠或粘连细胞方面，与最先进无框和有框实例分割方法相比表现如何？

主要发现

• 在神经细胞数据集上，所提方法在多尺度检测下达到79.30%的AP@0.5和55.18%的AP@0.7，显著优于DCAN（13.85% AP@0.5）和CosineEmbedding（27.45% AP@0.5）。
• 在DSB2018细胞核数据集上，方法达到80.14%的AP@0.5和67.60%的AP@0.7，优于Mask R-CNN（69.93% AP@0.5）和CornerNet（47.99% AP@0.5）。
• 多尺度检测提升了神经细胞的性能：由于浅层感受野较小，大尺寸细胞在浅层检测效果差，但在深层尺度中能被有效捕捉。
• 独立的细胞分割分支优于仅基于浅层特征图s1的分割方法，通过利用ROI特定上下文，减少了过度分割和误报。
• 可视化结果表明，大尺寸细胞在s1尺度常被遗漏，但在s4尺度能被检测到，证实了多尺度特征提取的优势。
• 基于关键点图的分组方法增强了鲁棒性：即使一个或多个关键点缺失，剩余点仍能形成有效的边界框提议。