[论文解读] Object-Guided Instance Segmentation for Biological Images

Jingru Yi, Hui Tang+6 more|arXiv (Cornell University)|Nov 20, 2019

Cell Image Analysis Techniques参考文献 22被引用 5

一句话总结

该论文提出了一种面向生物图像的物体引导实例分割方法，通过中心点检测生成紧密的边界框，利用实例归一化在分割分支中复用物体特征以抑制邻近物体的分布，从而在三个基准数据集上实现了分离簇状、粘连及小型生物物体的最先进性能，同时保持了精细的形态学细节。

ABSTRACT

Instance segmentation of biological images is essential for studying object behaviors and properties. The challenges, such as clustering, occlusion, and adhesion problems of the objects, make instance segmentation a non-trivial task. Current box-free instance segmentation methods typically rely on local pixel-level information. Due to a lack of global object view, these methods are prone to over- or under-segmentation. On the contrary, the box-based instance segmentation methods incorporate object detection into the segmentation, performing better in identifying the individual instances. In this paper, we propose a new box-based instance segmentation method. Mainly, we locate the object bounding boxes from their center points. The object features are subsequently reused in the segmentation branch as a guide to separate the clustered instances within an RoI patch. Along with the instance normalization, the model is able to recover the target object distribution and suppress the distribution of neighboring attached objects. Consequently, the proposed model performs excellently in segmenting the clustered objects while retaining the target object details. The proposed method achieves state-of-the-art performances on three biological datasets: cell nuclei, plant phenotyping dataset, and neural cells.

研究动机与目标

• 解决显微镜图像中簇状、粘连及小型生物物体的分割挑战。
• 通过引入全局物体上下文，克服无框方法中的过分割与欠分割问题。
• 提升复杂生物场景中实例分割的精度与细节保持能力。
• 通过基于中心点的定位实现小型物体的高效且精确检测。
• 利用实例归一化抑制邻近物体特征，同时保持目标实例的形态结构。

提出的方法

• 该方法使用基于关键点的检测器检测物体中心，生成无需锚框的紧密边界框。
• 检测分支中的物体特征被传递至分割分支，作为实例分离的空间引导。
• 在分割分支中应用实例归一化，以抑制邻近物体的统计分布并突出目标实例。
• 模型使用RoI对齐基于预测边界框裁剪感兴趣区域补丁，以实现精细化分割。
• 该框架集成ResNet50编码器与两条并行分支：一条用于物体检测（中心热力图、框回归、偏移预测），另一条用于物体引导的分割。
• 分割分支利用物体特征与实例归一化，以恢复精细细节并抑制附着物体带来的噪声。

实验结果

研究问题

• RQ1 基于中心点的检测是否能提升实例分割中对小型和簇状生物物体的定位精度？
• RQ2 物体特征在重叠或粘连物体中引导实例分离的效率如何？
• RQ3 实例归一化是否能有效抑制邻近物体分布的同时保持目标实例的细节？
• RQ4 所提出方法在生物图像数据集上是否能在精度与效率方面超越最先进无框与有框方法？
• RQ5 物体特征与归一化技术的结合在复杂生物场景中对掩码质量的提升程度如何？

主要发现

• 所提方法在三个生物数据集（细胞核、植物表型分析、神经细胞）上均达到最先进性能。
• 在DSB2018数据集上，该模型在所有消融实验变体中取得最高的AP mask与AIoU mask得分，其中Ours_objBranchIN优于Ours_sepBranchIN与Ours_objBranch。
• 在植物表型分析数据集上，Ours_objBranchIN在AIoU mask上表现出持续优势，表明其分割质量更优，尽管AP mask得分相近。
• 在神经细胞数据集上，Ours_objBranchIN显著优于其他变体，展现出在处理细长、纤细且簇状细胞突起方面的优势。
• 消融研究证实，实例归一化对于抑制邻近特征并恢复完整的目标实例细节至关重要。
• 该方法能有效分离簇状实例，同时保持精细的形态学细节，尤其在遮挡与粘连情况下表现突出。