[论文解读] Subsampled Fourier Ptychography using Pretrained Invertible and Untrained Network Priors

Fahad Shamshad, Asif Hanif+1 more|arXiv (Cornell University)|May 13, 2020

Advanced X-ray Imaging Techniques被引用 7

一句话总结

本论文提出两种新颖方法——可逆Ptych与未训练Ptych，用于使用预训练可逆及未训练深度生成模型的子采样傅里叶Ptychography，以克服传统先验和预训练生成模型的局限性。通过利用可逆流和未训练网络，该方法在极低采样率（低至2%）和高噪声水平下实现了卓越的重建质量，且在PSNR和SSIM指标上优于最先进基线方法，无需大规模训练数据且不受表征约束影响。

ABSTRACT

Recently pretrained generative models have shown promising results for subsampled Fourier Ptychography (FP) in terms of quality of reconstruction for extremely low sampling rate and high noise. However, one of the significant drawbacks of these pretrained generative priors is their limited representation capabilities. Moreover, training these generative models requires access to a large number of fully-observed clean samples of a particular class of images like faces or digits that is prohibitive to obtain in the context of FP. In this paper, we propose to leverage the power of pretrained invertible and untrained generative models to mitigate the representation error issue and requirement of a large number of example images (for training generative models) respectively. Through extensive experiments, we demonstrate the effectiveness of proposed approaches in the context of FP for low sampling rates and high noise levels.

研究动机与目标

• 解决预训练生成模型在子采样傅里叶Ptychography中泛化能力差和表征受限的问题。
• 克服计算成像应用中生成模型预训练对大规模、干净训练数据的依赖。
• 实现从高度子采样和噪声测量中鲁棒地重建高分辨率图像。
• 引入一种灵活框架，当系统参数（如相机数量、重叠度）改变时无需重新训练。
• 在极端采样和噪声条件下，于定性和定量指标上均展示最先进性能。

提出的方法

• 利用预训练可逆生成模型（Glow架构）通过可微分、可逆的归一化流施加图像先验，实现无分布约束的高保真重建。
• 应用未训练深度生成模型（带跳跃连接的U-Net）直接从数据中学习先验，无需预训练，从而降低数据依赖性。
• 将逆问题表述为带数据保真项和通过生成模型潜在空间施加的先验项的优化问题。
• 将生成先验整合进迭代相位恢复框架，使用基于梯度的优化从仅幅度、子采样测量中恢复高分辨率图像。
• 使用子采样算子减少测量数量，以模拟傅里叶域中的真实低采样场景。
• 在CelebA（64×64）上训练可逆模型，并利用其生成高质量重建，无需微调或额外数据。

实验结果

研究问题

• RQ1 可逆生成模型是否能通过避免标准预训练生成器的表征局限，提升子采样傅里叶Ptychography中的重建质量？
• RQ2 未训练深度生成模型是否能在无需大规模预训练数据的情况下，实现子采样FP中具有竞争力的性能？
• RQ3 与最先进基线相比，所提方法在极端条件（最低采样比2%、最高噪声10%）下的表现如何？
• RQ4 所提方法在不同成像参数（如相机数量、重叠度）下泛化能力如何，且无需重新训练？
• RQ5 可逆与未训练先验的结合是否能实现优于传统稀疏性基或深度学习基方法的PSNR与SSIM？

主要发现

• 在1%子采样率和10%噪声条件下，未训练Ptych的PSNR达到33.99 dB，显著优于CoPRAM（24.57 dB）和IERA（14.43 dB）。
• 在1%子采样和10%噪声条件下，可逆Ptych的PSNR达到30.60 dB，优于CoPRAM（24.27 dB）和IERA（15.51 dB），证明其对噪声和低采样的鲁棒性。
• 在2%子采样且无噪声条件下，可逆Ptych的PSNR达到25.41 dB，表明其在极端欠采样下仍具强大性能。
• 在所有噪声水平和子采样率下，未训练Ptych的平均SSIM均高于IERA和CoPRAM，表明其具有更好的结构保持能力。
• 可逆Ptych在无分布约束下保持了高质量重建，而基于DCGAN的方法受限于生成器学习的流形。
• 所提方法在所有测试子采样率和噪声水平下均在PSNR和SSIM上表现出一致的性能提升，证实其鲁棒性和泛化能力。