[论文解读] Real-time sparse-sampled Ptychographic imaging through deep neural networks

Mathew J. Cherukara, Tao Zhou+5 more|arXiv (Cornell University)|Apr 15, 2020

Advanced X-ray Imaging Techniques被引用 4

一句话总结

该论文提出PtychoNN，一种深度卷积神经网络，通过直接将远场衍射图样映射到实空间中的物体结构和相位，实现了实时全息成像。在阿贡国家实验室先进光子源X射线全息实验数据上进行训练后，PtychoNN的重建速度比最先进的迭代方法快达300倍，并能成功反演重叠度低于50%的欠采样数据，从而实现对敏感或大体积样品的更快、更低剂量和动态成像。

ABSTRACT

Ptychography has rapidly grown in the fields of X-ray and electron imaging for its unprecedented ability to achieve nano or atomic scale resolution while simultaneously retrieving chemical or magnetic information from a sample. A ptychographic reconstruction is achieved by means of solving a complex inverse problem that imposes constraints both on the acquisition and on the analysis of the data, which typically precludes real-time imaging due to computational cost involved in solving this inverse problem. In this work we propose PtychoNN, a novel approach to solve the ptychography reconstruction problem based on deep convolutional neural networks. We demonstrate how the proposed method can be used to predict real-space structure and phase at each scan point solely from the corresponding far-field diffraction data. The presented results demonstrate how PtychoNN can effectively be used on experimental data, being able to generate high quality reconstructions of a sample up to hundreds of times faster than state-of-the-art ptychography reconstruction solutions once trained. By surpassing the typical constraints of iterative model-based methods, we can significantly relax the data acquisition sampling conditions and produce equally satisfactory reconstructions. Besides drastically accelerating acquisition and analysis, this capability can enable new imaging scenarios that were not possible before, in cases of dose sensitive, dynamic and extremely voluminous samples.

研究动机与目标

• 为克服迭代全息相位恢复方法带来的计算瓶颈，该方法限制了X射线和电子显微镜中的实时成像。
• 实现在稀疏采样数据下高保真度的全息重建，打破传统迭代方法对50%重叠度的依赖。
• 开发一种快速、可部署于边缘设备且训练数据需求极少的深度学习解决方案，以实现实验光束线中的实际应用。
• 展示端到端深度学习在真实世界全息成像中的可行性，基于先进光子源（Advanced Photon Source）的实验数据。

提出的方法

• PtychoNN采用具有编码器-解码器结构的深度卷积神经网络架构，学习从原始远场衍射图样到实空间振幅和相位的直接映射。
• 网络使用在阿贡国家实验室X射线纳米探针光束线（26-ID）采集的16,000组实验全息衍射图样进行训练。
• 训练数据包含161×161个扫描点，步长为30 nm，重叠度为50%，使用由菲涅尔衍射透镜聚焦的60 nm相干光束。
• 网络通过单次前向传播同时预测物体振幅和相位，实现每扫描点约1 ms的推理速度。
• 该方法通过直接从数据学习逆映射，绕过迭代相位恢复过程，消除了对重叠度约束的需求。
• 在欠采样数据（采样密度低至原始值的1/5）上评估模型，以测试其在稀疏采集条件下的鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否实现实验X射线衍射数据的实时全息重建？
• RQ2 PtychoNN在重叠度低于50%的欠采样全息数据下，能在多大程度上实现高保真度图像重建？
• RQ3 PtychoNN在实际应用中实现可靠重建所需的最少训练数据量是多少？
• RQ4 PtychoNN能否在硬件资源有限的设备上高效训练与部署，实现实验光束线中的实时成像？

主要发现

• PtychoNN的重建速度比Ptycholib（一种高性能迭代全息软件）快达300倍，单个扫描点的推理时间仅约1 ms。
• 即使仅使用800组样本进行训练，网络也能生成高质量的振幅和相位重建结果，且在单张NVIDIA V100 GPU上训练时间不足1分钟。
• PtychoNN成功实现了对采样密度仅为原始值1/5的全息数据的图像重建，尽管存在显著欠采样，仍保持了高精度。
• 与迭代方法在重叠度低于50%时失效或产生伪影不同，PtychoNN在稀疏采样条件下仍能保持重建保真度，展现出对数据采集减少的强鲁棒性。
• 模型在不同样本特征上表现出良好的泛化能力，如在具有随机特征的钨测试图案上，对多样化结构均保持一致的性能表现。
• 该方法实现了实时反馈，显著降低了辐射剂量和采集时间，为对剂量敏感、动态或大体积样品的成像开辟了新的应用场景。