[论文解读] Multiple Scattering Media Imaging via End-to-End Neural Network

Ziyang Yuan, Hongxia Wang|arXiv (Cornell University)|Jun 20, 2018

Random lasers and scattering media参考文献 14被引用 3

一句话总结

本文提出TCNN，一种端到端深度神经网络，可直接从多重散射介质中的无相位散斑图案重建图像，无需估计传输矩阵。通过集成一个变换层以连接不同域，并端到端学习逆映射，TCNN在图像恢复质量上达到最先进水平，推理速度比传统相位恢复方法快100倍以上，64×64图像的单张图像恢复时间降至0.12秒以下。

ABSTRACT

Recovering the image of an object from its phaseless speckle pattern is difficult. Let alone the transmission matrix is unknown in multiple scattering media imaging. Double phase retrieval is a recently proposed efficient method which recovers the unknown object from its phaseless measurements by two steps with phase retrieval. In this paper, we combine the two steps in double phase retrieval and construct an end-to-end neural network called TCNN(Transforming Convolutional Neural Network) which directly learns the relationship between the phaseless measurements and the object. TCNN contains a special layer called transform layer which aims to be a bridge between different transform domains. Tested by the empirical data provided in\cite{Metzler2017Coherent}, images can be recovered by TCNN with comparable quality compared with state-of-the-art methods. Not only the transmission matrix needn't to be calculated but also the time to recover the object can be hugely reduced once the parameters of TCNN are stable.

研究动机与目标

• 为解决在多重散射介质中从无相位散斑图案恢复图像的挑战，传统方法需付出高昂代价的传输矩阵估计。
• 克服在具有未知波前畸变的复杂散射环境中相位恢复的病态性问题。
• 开发一种端到端深度学习框架，直接将强度测量映射为物体图像，消除中间步骤。
• 与现有相位恢复算法相比，显著缩短图像恢复时间，同时保持良好的重建质量。
• 验证一种新型变换层在卷积神经网络中实现域间转换以提升逆成像性能的有效性。

提出的方法

• TCNN是一种深度神经网络，通过一次端到端训练过程，学习从无相位散斑强度图案到物体图像的逆映射。
• 网络架构由一个非线性编码-解码模块和一个线性变换层组成，其中包含一个专门设计的“变换层”，用于促进跨域表征学习。
• 变换层作为可学习桥梁，连接不同变换域（如傅里叶域与空间域），实现对逆成像至关重要的高效特征转换。
• 网络使用原始物体与其对应测量散斑强度的配对数据进行训练，通过在重建结果上最小化均方误差（MSE）来优化损失。
• 训练仅需一次离线进行，使用大规模数据，之后推理过程极为高效，适用于实时应用。
• 采用正则化技术如早停法和基于验证的监控以防止过拟合，训练在20个周期内即实现收敛。

实验结果

研究问题

• RQ1 端到端深度神经网络是否能有效实现从多重散射介质中无相位散斑图案的图像重建，而无需依赖传输矩阵估计？
• RQ2 所提出的TCNN在图像质量与推理速度方面与最先进相位恢复方法相比表现如何？
• RQ3 该新型变换层在促进网络内域间转换以提升图像重建质量方面有何影响？
• RQ4 与Wirtinger Flow或Fienup方法等迭代相位恢复算法相比，TCNN在恢复时间上可缩短多少？
• RQ5 TCNN在不同图像尺寸和散射条件下是否具备泛化能力，同时保持高重建保真度？

主要发现

• TCNN在图像重建质量上与最先进方法（如PRVAMP、GS、WF和PhaseLift）相当，尤其在保留物体轮廓方面表现优异，尽管部分细节有所损失。
• 对于64×64图像，TCNN将单张图像恢复时间缩短至0.121秒，相比最慢基线方法（PhaseLift，耗时239.5秒）提速超过100倍。
• 训练误差与验证误差快速收敛，20个周期后差距极小，表明过拟合得到有效控制。
• 即使在小规模验证集上，网络仍保持低误差，表明其在不同图像尺寸下具备鲁棒性与泛化能力。
• 在所有测试尺寸下，TCNN的单张图像时间成本始终低于0.12秒，显著优于需10–100次迭代的迭代方法。
• 端到端设计消除了对独立传输矩阵估计的需求，简化了成像流程，支持实时部署。