[论文解读] Roles of scattered and ballistic photons in imaging through scattering media: a deep learning-based study

Xuyu Zhan, Jingjing Gao+7 more|arXiv (Cornell University)|Jul 21, 2022

Random lasers and scattering media被引用 5

一句话总结

本研究探讨了弹道光子与散射光子在通过厚散射介质的深度学习成像中的不同作用。通过随机相位掩模动态调控光子权重，作者发现尽管两者均能实现图像重建，但散射光子表现出类似密钥敏感的加密机制，而弹道光子则实现了稳定且可泛化的推理——凸显了弹道光子在不同散射体之间实现神经网络泛化的基础性作用，尽管其在检测中的贡献比例较低。

ABSTRACT

Scattering of light in complex media scrambles optical wavefronts and breaks the principles of conventional imaging methods. For decades, researchers have endeavored to conquer the problem by inventing approaches such as adaptive optics, iterative wavefront shaping, and transmission matrix measurement. That said, imaging through/into thick scattering media remains challenging to date. With the rapid development of computing power, deep learning has been introduced and shown potentials to reconstruct target information through complex media or from rough surfaces. But it also fails once coming to optically thick media where ballistic photons become negligible. Here, instead of treating deep learning only as an image extraction method, whose best-selling advantage is to avoid complicate physical models, we exploit it as a tool to explore the underlying physical principles. By adjusting the weights of ballistic and scattered photons through a random phasemask, it is found that although deep learning can extract images from both scattered and ballistic light, the mechanisms are different: scattering may function as an encryption key and decryption from scattered light is key sensitive, while extraction from ballistic light is stable. Based on this finding, it is hypothesized and experimentally confirmed that the foundation of the generalization capability of trained neural networks for different diffusers can trace back to the contribution of ballistic photons, even though their weights of photon counting in detection are not that significant. Moreover, the study may pave an avenue for using deep learning as a probe in exploring the unknown physical principles in various fields.

研究动机与目标

• 理解弹道光子与散射光子在基于深度学习的散射介质成像中的不同物理角色。
• 研究深度学习模型是否能在不同散射体之间实现泛化，以及支撑这种泛化的物理机制是什么。
• 确定训练后的神经网络泛化能力是否源于弹道光子，即使其检测权重极低。
• 探索深度学习不仅作为图像重建工具，更作为揭示复杂光学系统中潜在物理原理的探针。

提出的方法

• 训练一个深度学习框架，利用穿过不同散射体的散射光子与弹道光子重建图像。
• 引入随机相位掩模，以动态控制检测过程中弹道光子与散射光子的相对权重。
• 通过改变弹道光子与散射光子的比例，评估模型在不同条件下的稳定性与泛化能力。
• 在多个散射体上进行实验，以检验模型的泛化性能，并通过分析分离弹道光子的贡献。
• 比较依赖散射光子与弹道光子时，图像重建保真度及对相位掩模变化的敏感性。
• 提出并实验验证一个假设：弹道光子是深度学习模型在散射介质中实现泛化能力的根源。

实验结果

研究问题

• RQ1 弹道光子与散射光子在基于深度学习的散射介质成像中，对图像重建的贡献有何不同？
• RQ2 为何在一种散射体上训练的深度学习模型能泛化到其他散射体，尽管其散射特性存在差异？
• RQ3 何种物理机制使得弹道光子的图像重建更稳定，而散射光子的重建则表现出密钥敏感性？
• RQ4 深度学习能否作为探针，揭示复杂光学系统中隐藏的物理原理？
• RQ5 弹道光子在基于深度学习的成像中，对神经网络泛化的贡献程度如何？

主要发现

• 深度学习可从散射光子与弹道光子中重建图像，但其内在机制存在显著差异：基于散射光子的重建对相位掩模高度敏感，表明其具有类似加密的行为特征。
• 基于弹道光子的图像重建在不同实验条件下均表现出稳定性和鲁棒性，表明其具有更可靠的物理路径。
• 尽管检测权重较低，弹道光子对神经网络在不同散射体之间实现泛化至关重要。
• 模型在多种散射体之间实现泛化的能力，主要归因于弹道光子的稳定贡献，即使其在信号中并非主导成分。
• 本研究实验验证了模型泛化能力的根基在于弹道光子的物理稳定性，而非散射光子的统计模式。
• 本工作确立了深度学习作为探测散射介质中未知物理原理的可行工具，其价值不仅限于图像重建。