[论文解读] Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow

Shaowei Jiang, Kaikai Guo+2 more|arXiv (Cornell University)|Mar 9, 2018

Advanced X-ray Imaging Techniques被引用 9

一句话总结

本文提出了一种基于TensorFlow的深度学习框架，利用卷积神经网络（CNNs）解决傅里叶叠普特显微成像问题，通过将正向成像过程建模为可微分神经网络。该方法将复数物体视为可学习权重，并通过反向传播进行优化，在使用大批次和Adam优化器时，实现了高性能的高分辨率图像重建，同时支持高效的傅里叶幅度投影，并可扩展至单像素成像和结构光照明显微镜。

ABSTRACT

Fourier ptychography is a recently developed imaging approach for large field-of-view and high-resolution microscopy. Here we model the Fourier ptychographic forward imaging process using a convolution neural network (CNN) and recover the complex object information in the network training process. In this approach, the input of the network is the point spread function in the spatial domain or the coherent transfer function in the Fourier domain. The object is treated as 2D learnable weights of a convolution or a multiplication layer. The output of the network is modeled as the loss function we aim to minimize. The batch size of the network corresponds to the number of captured low-resolution images in one forward / backward pass. We use a popular open-source machine learning library, TensorFlow, for setting up the network and conducting the optimization process. We analyze the performance of different learning rates, different solvers, and different batch sizes. It is shown that a large batch size with the Adam optimizer achieves the best performance in general. To accelerate the phase retrieval process, we also discuss a strategy to implement Fourier-magnitude projection using a multiplication neural network model. Since convolution and multiplication are the two most-common operations in imaging modeling, the reported approach may provide a new perspective to examine many coherent and incoherent systems. As a demonstration, we discuss the extensions of the reported networks for modeling single-pixel imaging and structured illumination microscopy (SIM). 4-frame resolution doubling is demonstrated using a neural network for SIM. We have made our implementation code open-source for the broad research community.

研究动机与目标

• 通过利用深度学习解决傅里叶叠普特显微镜中相位恢复的计算挑战。
• 将相干成像正向过程建模为可微分神经网络，实现端到端优化。
• 通过TensorFlow中的自适应优化器和批量处理，加速收敛并提升重建质量。
• 将该框架扩展至其他相干成像系统，如单像素成像和结构光照明显微镜（SIM）。
• 提供开源实现，以促进社区广泛采用和可复现性。

提出的方法

• 傅里叶叠普特成像的正向成像过程被建模为可微分神经网络，其中物体以卷积或乘法层中的二维可学习权重表示。
• 网络的输入为时域中的点扩散函数或频域中的相干传递函数。
• 网络输出被定义为需最小化的损失函数，对应于模拟与捕获的低分辨率图像之间的差异。
• 使用小批量反向传播和Adam优化器进行训练，其中每个批次对应一组捕获的低分辨率图像。
• 通过乘法层神经网络高效实现傅里叶幅度投影，以加速相位恢复。
• 通过调整网络架构和损失公式，将该框架扩展至单像素成像和结构光照明显微镜（SIM）的建模。

实验结果

研究问题

• RQ1 可微分神经网络框架能否有效建模傅里叶叠普特成像的正向过程以实现相位恢复？
• RQ2 学习率、优化器和批量大小等超参数如何影响重建质量和收敛速度？
• RQ3 所提出的基于CNN的方法能否推广至其他相干成像系统，如单像素成像和SIM？
• RQ4 与标准方法相比，使用乘法层网络实现傅里叶幅度投影的性能提升程度如何？
• RQ5 利用现代深度学习库（如TensorFlow）可在多大程度上加速和扩展该框架？

主要发现

• 在所有测试配置中，使用大批次与Adam优化器的组合始终能获得最佳的重建性能。
• 所提出的神经网络框架相比传统迭代方法，实现了更快速的收敛速度和更高的鲁棒性，支持高分辨率图像重建。
• 通过乘法层网络实现的傅里叶幅度投影显著加速了相位恢复过程。
• 该框架成功实现了基于神经网络方法的4帧分辨率加倍，在结构光照明显微镜（SIM）中表现优异。
• 开源代码库支持可复现性，并便于适应各种相干成像应用。
• 该方法提供了一种通用框架，可使用卷积和乘法操作对相干和非相干成像系统进行建模。