[论文解读] NucMM Dataset: 3D Neuronal Nuclei Instance Segmentation at Sub-Cubic Millimeter Scale

Zudi Lin, Donglai Wei+13 more|arXiv (Cornell University)|Jul 13, 2021

Cell Image Analysis Techniques参考文献 37被引用 27

一句话总结

本文介绍了 NucMM 数据集，这是一个大规模的 3D 神经元核实例分割基准，覆盖亚立方毫米体积（0.1 mm³ 斑马鱼电子显微镜数据与 0.25 mm³ 小鼠显微 CT 数据），分别包含 170,000 个和 7,000 个核。本文提出一种新型 3D 混合表示模型 U3D-BCD，通过联合学习前景掩码、轮廓图和有符号距离变换，实现高精度实例分割，在新基准上相较最先进方法实现了 22% 的平均精度（mAP）相对提升。

ABSTRACT

Segmenting 3D cell nuclei from microscopy image volumes is critical for biological and clinical analysis, enabling the study of cellular expression patterns and cell lineages. However, current datasets for neuronal nuclei usually contain volumes smaller than $10^{ ext{-}3}\ mm^3$ with fewer than 500 instances per volume, unable to reveal the complexity in large brain regions and restrict the investigation of neuronal structures. In this paper, we have pushed the task forward to the sub-cubic millimeter scale and curated the NucMM dataset with two fully annotated volumes: one $0.1\ mm^3$ electron microscopy (EM) volume containing nearly the entire zebrafish brain with around 170,000 nuclei; and one $0.25\ mm^3$ micro-CT (uCT) volume containing part of a mouse visual cortex with about 7,000 nuclei. With two imaging modalities and significantly increased volume size and instance numbers, we discover a great diversity of neuronal nuclei in appearance and density, introducing new challenges to the field. We also perform a statistical analysis to illustrate those challenges quantitatively. To tackle the challenges, we propose a novel hybrid-representation learning model that combines the merits of foreground mask, contour map, and signed distance transform to produce high-quality 3D masks. The benchmark comparisons on the NucMM dataset show that our proposed method significantly outperforms state-of-the-art nuclei segmentation approaches. Code and data are available at https://connectomics-bazaar.github.io/proj/nucMM/index.html.

研究动机与目标

• 为解决缺乏适合研究复杂脑结构的大规模、多模态 3D 神经元核数据集的问题。
• 构建一个体积尺寸和实例数量显著超过现有神经元核数据集的基准数据集。
• 开发一种鲁棒的 3D 实例分割模型，能够处理不同成像模态下高密度、低对比度且形态多样的核。
• 定量分析大规模 3D 神经元核分割在电子显微镜和显微 CT 数据中引入的新挑战。
• 基于 NucMM 数据集，建立 3D 神经元核实例分割的新最先进基准。

提出的方法

• NucMM 数据集包含两个完全标注的 3D 体积：一个 0.1 mm³ 的斑马鱼幼体脑电子显微镜（EM）体积，包含约 170,000 个核；一个 0.25 mm³ 的小鼠视觉皮层显微 CT（uCT）体积，包含约 7,000 个核。
• 所提出的 U3D-BCD 模型采用 3D U-Net 架构，联合预测三种表示：前景掩码、实例轮廓图和有符号距离变换。
• 推理阶段，多目标分水岭分割算法结合三种预测结果：通过高前景概率与低轮廓概率的区域识别种子点，有符号距离图用于精确检测实例边界。
• 模型使用随机梯度下降（SGD）进行训练，配合余弦退火学习率衰减，并采用亮度、翻转、旋转、弹性形变及缺失部分等数据增强方法。
• 有符号距离变换通过固定参数 α=8 和 β=50 进行缩放，模型利用不同表示之间的一致性以提升种子检测的鲁棒性。
• 解码过程对前景概率阈值（τ4）和距离值阈值（τ5）敏感，显著影响分割质量，表明有符号距离图在捕捉目标结构方面具有关键作用。

实验结果

研究问题

• RQ1 在亚立方毫米尺度下，特别是在电子显微镜和显微 CT 模态中，3D 神经元核实例分割面临哪些关键挑战？
• RQ2 多表示学习（前景掩码、轮廓图、有符号距离变换）的结合相较于单表示模型，如何提升分割性能？
• RQ3 有符号距离变换的引入在多大程度上提升了高密度、低对比度核区域中实例边界检测的准确性和鲁棒性？
• RQ4 所提出的 U3D-BCD 模型在大规模、多样化的 3D 神经元核数据上，与最先进方法相比，其实例分割性能如何？
• RQ5 解码超参数的敏感性及其最优配置如何，特别是与有符号距离图和种子检测相关的参数？

主要发现

• NucMM 数据集的体积尺寸和实例数量均比以往神经元核数据集大两个数量级以上，其中 0.1 mm³ 和 0.25 mm³ 的体积分别包含 170,000 个和 7,000 个核。
• 所提出的 U3D-BCD 模型在 NucMM-Z 体积上达到 0.894 的平均平均精度（mAP），在 NucMM-M 体积上达到 0.444，相较所有最先进方法在整体基准上实现了 22% 的相对提升。
• Cellpose [27] 在 NucMM-Z 上仅取得 0.569 的 mAP，StarDist [34] 得分为 0.620，U3D-BC [33] 达到 0.670，表明所提出的 U3D-BCD 模型具有显著优势。
• U3D-BCD 模型在 7 项评估指标中的 6 项排名第一，包括在 NucMM-Z 和 NucMM-M 上的 mAP-50 和 mAP-75 均排名第一，表明其在多种挑战下均具备强大鲁棒性。
• 敏感性分析表明，解码阈值 τ4（有效区域的前景概率）和 τ5（距离值阈值）对性能有显著影响，当 τ4 从 0.1 变化到 0.4 时，mAP 从 0.872 提升至 0.946，凸显了有符号距离图在精确分割中的关键作用。
• 模型对阈值 τ1 和 τ2（种子检测阈值）相对不敏感，mAP-50 在广泛取值范围内变化小于 0.003，表明其在种子定位方面具有高度鲁棒性。