[论文解读] VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning

Mengyang Zhao, Quan Liu+7 more|arXiv (Cornell University)|Jun 22, 2021

Cell Image Analysis Techniques参考文献 25被引用 17

一句话总结

本文提出 VoxelEmbed，一种新颖的 3D 实例分割与跟踪方法，通过体素嵌入捕捉 3D 体积视频中的时空上下文。该方法采用多流学习框架并结合 3D 同步机制，在单张 12GB GPU 上实现端到端、内存高效的推理，在四个 ISBI 细胞追踪挑战数据集上达到最先进性能，包括在标注稀疏的数据上也表现出色。

ABSTRACT

Recent advances in bioimaging have provided scientists a superior high spatial-temporal resolution to observe dynamics of living cells as 3D volumetric videos. Unfortunately, the 3D biomedical video analysis is lagging, impeded by resource insensitive human curation using off-the-shelf 3D analytic tools. Herein, biologists often need to discard a considerable amount of rich 3D spatial information by compromising on 2D analysis via maximum intensity projection. Recently, pixel embedding-based cell instance segmentation and tracking provided a neat and generalizable computing paradigm for understanding cellular dynamics. In this work, we propose a novel spatial-temporal voxel-embedding (VoxelEmbed) based learning method to perform simultaneous cell instance segmenting and tracking on 3D volumetric video sequences. Our contribution is in four-fold: (1) The proposed voxel embedding generalizes the pixel embedding with 3D context information; (2) Present a simple multi-stream learning approach that allows effective spatial-temporal embedding; (3) Accomplished an end-to-end framework for one-stage 3D cell instance segmentation and tracking without heavy parameter tuning; (4) The proposed 3D quantification is memory efficient via a single GPU with 12 GB memory. We evaluate our VoxelEmbed method on four 3D datasets (with different cell types) from the ISBI Cell Tracking Challenge. The proposed VoxelEmbed method achieved consistent superior overall performance (OP) on two densely annotated datasets. The performance is also competitive on two sparsely annotated cohorts with 20.6% and 2% of data-set having segmentation annotations. The results demonstrate that the VoxelEmbed method is a generalizable and memory-efficient solution.

研究动机与目标

• 解决大规模 3D 生物医学视频分析的挑战，该挑战受限于资源密集型的人工标注，以及将 3D 空间信息投影到 2D 时造成的损失。
• 通过将现有 2D 像素嵌入方法推广至 3D 体素嵌入，克服其局限性，以保留体积分量上下文。
• 开发一种内存高效、端到端的框架，实现无需大量超参数调优的 3D 实例分割与跟踪同步处理。
• 在密集标注和稀疏标注的 3D 数据集上均实现鲁棒性能，反映真实生物成像中的约束条件。

提出的方法

• 提出一种体素嵌入策略，通过在空间和时间维度上整合体积分量上下文，将 2D 像素嵌入推广至 3D。
• 设计一种多流学习架构，利用 2D 卷积网络高效学习 3D 体积中的时空嵌入。
• 提出一种受切片传播启发的 3D 同步算法，从 2D 预测重建完整的体积分割掩码。
• 使用余弦嵌入损失，确保跨帧的单个细胞具有稳定且可区分的嵌入。
• 实现端到端训练，采用单阶段框架，通过共享嵌入空间联合优化分割与跟踪。
• 利用带宽为 0.1 的均值漂移聚类，基于学习到的嵌入将体素聚类为实例级分割。

实验结果

研究问题

• RQ1 体素嵌入能否将 2D 像素嵌入推广至 3D，以提升时间序列显微镜中的实例分割与跟踪性能？
• RQ2 多流 2D 网络设计能否在不使用完整 3D 卷积网络的情况下，有效学习 3D 空间-时间上下文？
• RQ3 所提方法能否在密集标注和稀疏标注的 3D 数据集上均实现高性能，且超参数调优极少？
• RQ4 该方法是否足够内存高效，可在仅配备 12GB 显存的单张 GPU 上运行，同时保持竞争力的准确率？

主要发现

• VoxelEmbed 在 Fluo-N3DH-SIM+ 数据集上取得最高总体性能（OP）0.876，在 Fluo-C3DH-A549-SIM 上达到 0.926，优于基线方法（包括 RSHN 和 KTH-SE）。
• 在 Fluo-N3DH-CHO 数据集（仅 20.6% 帧标注）上，VoxelEmbed 的 OP 为 0.910，追踪性能（TRA）排名第一（0.958），分割性能（SEG）排名第二（0.862）。
• 在 Fluo-N3DH-CE 数据集（仅 2% 帧标注）上，VoxelEmbed 的 OP 为 0.807，总体性能排名第二，追踪性能排名第一（TRA: 0.897）。
• 该方法展现出强大的泛化能力，在不同细胞类型和标注稀疏程度下均保持优异性能。
• VoxelEmbed 仅使用单张 12GB GPU 即取得上述结果，证实其内存效率和在真实生物医学成像流程中的实用性。
• 消融实验（VoxelEmbed-D）表明，多流设计对性能有贡献，在 Fluo-N3DH-SIM+ 上 OP 为 0.879，在 Fluo-C3DH-A549-SIM 上为 0.919，表明其鲁棒性与一致性。