[论文解读] Multi-Temporal Frames Projection for Dynamic Processes Fusion in Fluorescence Microscopy

Hassan Eshkiki, Sarah Costa+4 more|arXiv (Cornell University)|Jan 15, 2026

Cell Image Analysis Techniques被引用 0

一句话总结

本论文提出一个模组化框架，通过预处理与 z 投影将多时相荧光显微镜帧融合为高质量的二维图像；在心肌细胞数据集上进行评估，涵盖 111 种配置，较之前的方法平均提高 细胞计数 44%。

ABSTRACT

Fluorescence microscopy is widely employed for the analysis of living biological samples; however, the utility of the resulting recordings is frequently constrained by noise, temporal variability, and inconsistent visualisation of signals that oscillate over time. We present a unique computational framework that integrates information from multiple time-resolved frames into a single high-quality image, while preserving the underlying biological content of the original video. We evaluate the proposed method through an extensive number of configurations (n = 111) and on a challenging dataset comprising dynamic, heterogeneous, and morphologically complex 2D monolayers of cardiac cells. Results show that our framework, which consists of a combination of explainable techniques from different computer vision application fields, is capable of generating composite images that preserve and enhance the quality and information of individual microscopy frames, yielding 44% average increase in cell count compared to previous methods. The proposed pipeline is applicable to other imaging domains that require the fusion of multi-temporal image stacks into high-quality 2D images, thereby facilitating annotation and downstream segmentation.

研究动机与目标

• 解决荧光显微记录中的噪声、时变性和可见性不一致问题。
• 开发一个能够在保留生物学内容的同时实现下游分割的预处理+投影管线。
• 创建一个可扩展的模组化框架，能够增加额外的预处理和投影技术。
• 在具有振荡 Ca2+ 信号的动态心肌细胞网络上展示该方法，以产生信息丰富的二维表示。

提出的方法

• 从视频中提取帧以形成多时相堆栈，并应用三步预处理管线（均衡化、像素强度重新映射、噪声滤波）。
• 使用六种 z 投影技术（MIP、AP、SP、PDP、SDP、QP）融合预处理后的帧堆栈。
• 评估广泛的配置集（111 种预处理变体 × 6 种投影=666 条管线），以确定有效组合。
• 在没有地面实物图像的情况下，使用无参考图像质量评估（NR-IQA）指标（NIQE、PIQE、BRISQUE）来选择高质量投影。
• 提供一个可包含额外预处理方法和投影算子的模组化框架。
• 在 91 条 CLSM HL-1 心肌细胞网络视频、每视频 150 帧的数据集上报告结果。

Figure 1 : Systematic pipeline for multi-temporal frames fusion in (a) live-sample FM datasets via combined (b) image processing and (c) z-projection methods.

实验结果

研究问题

• RQ1 多时相帧通过投影技术的融合是否能在荧光显微中提升图像质量并保留时间信息？
• RQ2 哪些预处理步骤与 z 投影的组合在定性和 NR-IQA 基于质量上表现最佳？
• RQ3 投影表示是否比传统帧基方法更利于后续标注与分割？
• RQ4 该方法是否可推广到需要多时相融合的其他成像领域？
• RQ5 NR-IQA 指标与显微镜图像的专家感知质量之间的相关性如何？

主要发现

• 该框架在 91 条视频中产生了 60,606 条管线结果，识别出 SP 和 AP 投影在 PIQE 和 BRISQUE 的 NR-IQA 性能上具有较强表现。
• 在 NR-IQA 指标中，MIP 总体质量分数低于 SP、AP、QP、SDP。
• PDP 投影因伪影导致结果不可用，已从后续分析中剔除。
• 该方法在 HL-1 心肌细胞数据集上较之前的方法实现了平均 44% 的细胞计数提升。
• NR-IQA 指标对预处理–投影组合的敏感性不同，NIQE 与 BRISQUE 更能反映某些管线引入的伪影，而 PIQE 能捕捉模糊和细节损失。
• 作者强调一个完全模组化且可解释的管线，旨在使生物学家能够检查和标注输出，并为下游基于 DL 的分割提供输入。

Figure 2 : Box plot of NR-IQR scores by projection method. Yellow-filled diamond-shaped dots within the boxes indicate mean values for each projection group.