[论文解读] PatchPerPix for Instance Segmentation

P. B. Hirsch, Lisa Mais+1 more|arXiv (Cornell University)|Jan 21, 2020

Cell Image Analysis Techniques参考文献 30被引用 9

一句话总结

PatchPerPix 提出了一种新颖的非迭代实例分割方法，通过为每个像素预测密集的局部形状描述符（形状块），并在单次遍历中通过求解块亲和图分割问题来组装完整的实例。该方法在多个生物医学基准测试中达到最先进性能，包括 ISBI 2012、BBBC010 以及 2D/3D 显微镜数据集，尤其在复杂、重叠和密集聚集的物体形状上表现卓越。

ABSTRACT

We present a novel method for proposal free instance segmentation that can handle sophisticated object shapes which span large parts of an image and form dense object clusters with crossovers. Our method is based on predicting dense local shape descriptors, which we assemble to form instances. All instances are assembled simultaneously in one go. To our knowledge, our method is the first non-iterative method that yields instances that are composed of learnt shape patches. We evaluate our method on a diverse range of data domains, where it defines the new state of the art on four benchmarks, namely the ISBI 2012 EM segmentation benchmark, the BBBC010 C. elegans dataset, and 2d as well as 3d fluorescence microscopy data of cell nuclei. We show furthermore that our method also applies to 3d light microscopy data of Drosophila neurons, which exhibit extreme cases of complex shape clusters

研究动机与目标

• 解决生物医学图像中对象复杂、分布广泛且密集聚集并存在重叠的实例分割挑战。
• 克服现有无提议方法在未显式建模实例形状或处理交叉重叠方面存在的局限性。
• 开发一种方法，通过单次推理遍历将学习到的局部形状块组装成完整实例。
• 提升在具有复杂形状（如神经元和细胞核）的挑战性数据集上的分割精度，这些形状传统方法难以处理。

提出的方法

• 基于 U-Net 的 CNN 为每个像素预测密集的局部形状描述符（二值掩码或编码表示），以表征其所属实例的局部形状。
• 该方法构建一个块亲和图，其中每个节点对应一个预测的形状块，边的得分基于重叠块之间的共识一致性。
• 对块亲和图应用带符号图分割算法，实现一次遍历中同时分割所有实例，自然地处理重叠问题。
• 采用形状预测与实例组装的端到端训练，提升模型泛化能力，优于编码器与解码器分开训练的方式。
• 支持形状块的二值掩码和压缩编码表示两种形式，后者在某些数据集上表现更优。
• 该方法可扩展至 3D 数据，尽管受计算限制，当前 3D 中的块大小被限制在 7×7×7 或 9×9×9 以实现可行的推理。

实验结果

研究问题

• RQ1 非迭代、基于块的方法是否能在复杂、重叠的生物医学结构上超越现有最先进实例分割模型？
• RQ2 通过图分割而非迭代优化，能否有效将学习到的形状块组装成完整且准确的实例？
• RQ3 与全局或基于亲和力的方法相比，为每个像素预测局部形状描述符是否能提升在密集簇集和交叉重叠情况下的性能？
• RQ4 该方法在极端情况（如 3D 光学显微镜中的细长树状神经元结构）下的表现如何？
• RQ5 形状表征与实例组装的端到端训练是否能优于组件分开训练，从而获得更优结果？

主要发现

• PatchPerPix 在 ISBI 2012 电子显微镜分割基准测试中达到最先进性能，显著优于以往方法。
• 在 BBBC010 C. elegans 数据集上，PatchPerPix 将 2018 年数据科学杯得分（S）从 0.584 提升至 0.693，平均 F1 得分（avS）从 0.895 提升至 0.919。
• 在 2D 和 3D 细胞核荧光显微镜图像上，PatchPerPix 的像素准确率高于最先进方法，S 得分分别为 0.693（dsb2018）和 0.436（nuclei3d）。
• 该方法展现出强大的泛化能力，在 Drosophila 神经元的 3D 光学显微镜数据上也取得合理结果，即使面对细长、交织且重叠的结构。
• 采用形状编码的端到端训练带来了可测量的性能提升，尤其在 2D 数据上表现明显，但在 3D 中因小块尺寸限制，性能增益有限。
• 在 nuclei3d 数据集上，使用形状编码的版本（ppp+dec）性能并未优于二值掩码版本（ppp），表明较小的 3D 块可能限制了编码表示的优势。