[论文解读] Nellie: Automated organelle segmentation, tracking, and hierarchical feature extraction in 2D/3D live-cell microscopy

Austin E.Y.T. Lefebvre, Gabriel Sturm+5 more|arXiv (Cornell University)|Mar 20, 2024

Cell Image Analysis Techniques被引用 5

一句话总结

Nellie 提供一个自动化、元数据自适应的管道，用于在 2D/3D 活细胞显微镜中进行胞内结构的分割、追踪和多尺度特征提取，配有用户友好的 Napari GUI。

ABSTRACT

The analysis of dynamic organelles remains a formidable challenge, though key to understanding biological processes. We introduce Nellie, an automated and unbiased user-friendly pipeline for segmentation, tracking, and feature extraction of diverse intracellular structures. Nellie adapts to image metadata, eliminating user input. Nellie's preprocessing pipeline enhances structural contrast on multiple intracellular scales allowing for robust hierarchical segmentation of sub-organellar regions. Internal motion capture markers are generated and tracked via a radius-adaptive pattern matching scheme, and used as guides for sub-voxel flow interpolation. Nellie extracts a plethora of features at multiple hierarchical levels for deep and customizable analysis. Nellie features a point-and-click Napari-based GUI that allows for code-free operation and visualization, while its modular open-source codebase invites extension by experienced users. We demonstrate Nellie's wide variety of use cases with three examples: unmixing multiple organelles from a single channel using feature-based classification, training an unsupervised graph autoencoder on mitochondrial multi-mesh graphs to quantify latent space embedding changes following ionomycin treatment, and performing in-depth characterization and comparison of endoplasmic reticulum networks across different cell types and temporal frames.

研究动机与目标

• 促进对动态细胞器的自动化、无偏分析，以理解生物过程。
• 开发一个元数据自适应的管道，最小化分割、追踪和特征提取所需的用户输入。
• Enable robust hierarchical segmentation that captures sub-organellar structures across scales.
• 提供可视式、无需编码界面（基于 Napari）及可扩展的模块化开源代码库。

提出的方法

• 预处理，提升胞内尺度的结构对比度以实现分层分割。
• 半径自适应模式匹配，用于生成和跟踪内部运动标记并引导亚体素流插值。
• 在胞器的多层级组织水平上进行分层分割和特征提取。
• 在多个层级进行特征提取，以支持深度且可定制的分析。
• 基于 Napari 的点选式 GUI，支持无需编码的操作和可视化，以及一个用于扩展的开源模块化代码库。

实验结果

研究问题

• RQ1 Nellie 是否能够在 2D 和 3D 活细胞显微镜中，在无需用户输入的情况下，自动分割并追踪多样的胞内胞器？
• RQ2 元数据自适应预处理在不同成像条件下提高分割鲁棒性有多大效果？
• RQ3 多层级（分层）特征是否能够提升后续分析，如分类、聚类或基于网络的表示？
• RQ4 内在运动标记和亚体素流插值是否能在拥挤的细胞环境中提升追踪精度？
• RQ5 提供的用例（胞器分离、线粒体图的图自编码器、ER 网络比较）是否能代表 Nellie 在不同细胞类型和时间帧上的多功能性？

主要发现

• Nellie 提供自动化且无偏的分割、追踪和分层特征提取，且无需对图像元数据输入。
• 预处理和半径自适应追踪在尺度和结构上实现鲁棒分割和运动捕捉。
• 演示包括基于特征的单通道胞器分离、对线粒体图的无监督图自编码器以量化离子霓后潜在变化，以及在不同细胞类型和时间上的 ER 网络比较。