[论文解读] Physical model simulator-trained neural network for computational 3D phase imaging of multiple-scattering samples

Alex Matlock, Lei Tian|arXiv (Cornell University)|Mar 29, 2021

Digital Holography and Microscopy参考文献 51被引用 6

一句话总结

该论文提出了一种基于物理模拟器训练的深度学习框架，通过结合环形强度衍射断层扫描（aIDT）与轻量级2D U-Net架构，实现了对多重散射生物样本的快速、高精度3D相位成像。该方法利用模拟的多重散射前向模型，从自然图像生成训练数据，采用基于模型的线性拟合进行输入归一化，并在活细胞和动态样本上实现了鲁棒、可泛化的重建，具有高定量精度。

ABSTRACT

Recovering 3D phase features of complex, multiple-scattering biological samples traditionally sacrifices computational efficiency and processing time for physical model accuracy and reconstruction quality. This trade-off hinders the rapid analysis of living, dynamic biological samples that are often of greatest interest to biological research. Here, we overcome this bottleneck by combining annular intensity diffraction tomography (aIDT) with an approximant-guided deep learning framework. Using a novel physics model simulator-based learning strategy trained entirely on natural image datasets, we show our network can robustly reconstruct complex 3D biological samples of arbitrary size and structure. This approach highlights that large-scale multiple-scattering models can be leveraged in place of acquiring experimental datasets for achieving highly generalizable deep learning models. We devise a new model-based data normalization pre-processing procedure for homogenizing the sample contrast and achieving uniform prediction quality regardless of scattering strength. To achieve highly efficient training and prediction, we implement a lightweight 2D network structure that utilizes a multi-channel input for encoding the axial information. We demonstrate this framework's capabilities on experimental measurements of epithelial buccal cells and Caenorhabditis elegans worms. We highlight the robustness of this approach by evaluating dynamic samples on a living worm video, and we emphasize our approach's generalizability by recovering algae samples evaluated with different experimental setups. To assess the prediction quality, we develop a novel quantitative evaluation metric and show that our predictions are consistent with our experimental measurements and multiple-scattering physics.

研究动机与目标

• 为克服在复杂多重散射生物样本的3D定量相位成像中计算效率与物理模型精度之间的权衡。
• 实现在无需实验真实标签数据集的情况下，对动态和多样化的生物样本实现快速、可泛化的3D相位重建。
• 开发一种数据高效的深度学习框架，利用模拟的多重散射物理模型而非真实实验数据进行训练。
• 通过一种新型基于模型的数据归一化程序，实现在不同散射强度下预测质量的一致性。
• 在不同实验设置下，对活体动态样本（如秀丽隐杆线虫和藻类）展示高性能的3D相位成像。

提出的方法

• 基于物理模拟器的训练策略通过随机为自然图像分配折射率（RI）值，利用多重散射前向模型（SSNP）模拟强度测量，并从aIDT模型计算线性逼近值，生成合成训练数据。
• 采用基于模型的线性拟合程序，通过估计强度图像频谱幅值中的峰值RI对输入进行归一化，实现在不同散射强度下的预测质量一致性。
• 采用具有128个初始滤波器和跳跃连接的轻量级2D U-Net架构，处理编码轴向信息的多通道输入，避免棋盘伪影并减少参数量。
• 网络使用平均绝对误差（MAE）损失、ADAM优化器（学习率为10−3）和20的批量大小，在100个周期内进行训练，每个小批量使用随机切片子体积以增强泛化能力。
• 网络从五个连续的逼近值切片中预测3D体积分中心切片，采用带有Leaky ReLU和批归一化的2D卷积进行特征学习。
• 通过1×1卷积（无激活函数）生成最终的RI预测，保留负对比度并支持端到端回归。

实验结果

研究问题

• RQ1 仅在物理多重散射模型生成的模拟数据上训练的深度学习模型，能否在真实生物样本上实现可泛化的3D相位重建？
• RQ2 如何设计输入归一化方法，以确保在不同散射强度样本中预测质量的一致性？
• RQ3 通过在多通道输入中编码轴向信息，2D网络架构能否有效恢复3D相位信息？
• RQ4 与单散射近似相比，所提出方法在多重散射样本上的重建精度和深度切片能力提升了多少？
• RQ5 该模型在未见过的生物样本和实验设置（包括动态活体样本）上的泛化能力如何？

主要发现

• 所提方法在上皮颊细胞和秀丽隐杆线虫中实现了鲁棒的3D相位重建，相比线性aIDT逼近值，表现出更优的深度切片能力和特征恢复效果。
• 该模型在不同实验设置下成像的藻类样本中也表现出有效泛化，证明其在训练分布之外的广泛应用潜力。
• 网络成功重建了线虫在视频序列中的动态运动，证实其具备对活体时间序列成像的能力。
• 基于模型的归一化程序实现了频谱幅值与峰值RI之间的线性关系（R² = 0.917），确保在多种散射条件下的一致输入缩放。
• 网络实现了高预测精度，定量评估显示预测结果与实验测量结果高度一致。
• 轻量级2D架构实现了高效的训练与推理，避免了3D网络的高计算成本，同时保持了高性能。