[论文解读] Physics-driven universal twin-image removal network for digital in-line holographic microscopy

Mikołaj Rogalski, Piotr Arcab+4 more|PubMed|Aug 8, 2023

Digital Holography and Microscopy参考文献 47被引用 5

一句话总结

本文提出UTIRnet，一种用于数字全内全息显微镜（DIHM）中通用双像噪声抑制的物理驱动深度学习网络。该网络仅在数值生成的全息图上进行训练，实现了快速、鲁棒且与硬件无关的重建，保持一致的物理保真度，在无需实验训练数据的情况下实现了最先进的双像噪声去除性能，已在活体神经胶质细胞迁移成像中得到验证。

ABSTRACT

Digital in-line holographic microscopy (DIHM) enables efficient and cost-effective computational quantitative phase imaging with a large field of view, making it valuable for studying cell motility, migration, and bio-microfluidics. However, the quality of DIHM reconstructions is compromised by twin-image noise, posing a significant challenge. Conventional methods for mitigating this noise involve complex hardware setups or time-consuming algorithms with often limited effectiveness. In this work, we propose UTIRnet, a deep learning solution for fast, robust, and universally applicable twin-image suppression, trained exclusively on numerically generated datasets. The availability of open-source UTIRnet codes facilitates its implementation in various DIHM systems without the need for extensive experimental training data. Notably, our network ensures the consistency of reconstruction results with input holograms, imparting a physics-based foundation and enhancing reliability compared to conventional deep learning approaches. Experimental verification was conducted among others on live neural glial cell culture migration sensing, which is crucial for neurodegenerative disease research.

研究动机与目标

• 为解决数字全内全息显微镜（DIHM）中持续存在的双像噪声问题，该问题会降低重建质量并限制定量相位成像的应用。
• 开发一种通用、快速且鲁棒的双像抑制方法，无需大量实验训练数据或复杂的硬件配置。
• 通过将基于物理的约束嵌入深度学习框架，确保重建结果的物理一致性，从而在可靠性方面超越传统数据驱动方法。
• 通过开源发布，实现直接应用于生物医学研究，特别是在神经退行性疾病研究中的活细胞成像。

提出的方法

• UTIRnet是一种深度卷积神经网络，仅在使用角谱法生成的数值模拟全息图上进行训练，确保无需真实实验数据即可实现物理真实性。
• 网络架构设计用于学习从含噪声全息图到无双像噪声重建图像的逆映射，采用残差学习模块以提升特征表示能力。
• 通过可微分的前向模型嵌入物理驱动正则化，强制输入全息图与输出重建结果之间保持一致性，确保物理合理性。
• 训练过程采用损失函数，结合像素级重建损失与基于全息传播模型推导出的物理一致性损失。
• 该方法具有通用性，即在无需重新训练的情况下，可泛化应用于不同样品类型、照明条件和系统参数。
• 该模型以开源代码形式发布，可在无需额外数据采集的情况下，立即部署于多种DIHM系统中。

实验结果

研究问题

• RQ1 仅在合成全息图上训练的深度学习模型，是否能在无需真实数据微调的情况下，实现对多种DIHM系统的通用双像噪声抑制？
• RQ2 与标准数据驱动方法相比，物理驱动正则化在多大程度上提升了基于深度学习的全息重建的可靠性与物理一致性？
• RQ3 UTIRnet在多大程度上提升了重建质量，并实现了对活细胞动力学（如神经胶质细胞迁移）的精确定量相位成像？
• RQ4 该网络是否能在无需重新训练的情况下，泛化于不同形态、尺寸和光程差的样品？

主要发现

• UTIRnet在双像噪声抑制方面实现了最先进的性能，显著降低了噪声，同时保留了重建相位图像中的精细结构细节。
• 物理驱动损失函数确保输出重建结果与输入全息图在全息传播模型下保持一致，增强了物理合理性。
• 该网络在不同样品类型和系统参数下均表现出有效的泛化能力，无需重新训练即可实现通用适用性。
• 在活体神经胶质细胞迁移实验中，UTIRnet实现了高保真度的定量相位成像，提升了时间与空间分辨率，支持对细胞动态行为的分析。
• UTIRnet的开源发布促进了其在现有DIHM平台中的快速集成，加速了其在生物医学研究中的应用。