[论文解读] Pyramid diffractive optical networks for unidirectional image magnification and demagnification

Bijie Bai, Xilin Yang+5 more|arXiv (Cornell University)|Aug 29, 2023

Neural Networks and Reservoir Computing参考文献 46被引用 4

一句话总结

本文提出金字塔衍射深度神经网络（P-D2NN），一种受物理启发的光学设计，通过根据放大倍数因子缩放衍射层，实现单向图像放大与缩小。该架构在单向实现高保真图像转换的同时抑制反向传播，相较于传统D2NN减少自由度数量，并在宽波长范围内保持性能，实验验证使用太赫兹波。

ABSTRACT

Diffractive deep neural networks (D2NNs) are composed of successive transmissive layers optimized using supervised deep learning to all-optically implement various computational tasks between an input and output field-of-view (FOV). Here, we present a pyramid-structured diffractive optical network design (which we term P-D2NN), optimized specifically for unidirectional image magnification and demagnification. In this design, the diffractive layers are pyramidally scaled in alignment with the direction of the image magnification or demagnification. This P-D2NN design creates high-fidelity magnified or demagnified images in only one direction, while inhibiting the image formation in the opposite direction - achieving the desired unidirectional imaging operation using a much smaller number of diffractive degrees of freedom within the optical processor volume. Furthermore, P-D2NN design maintains its unidirectional image magnification/demagnification functionality across a large band of illumination wavelengths despite being trained with a single wavelength. We also designed a wavelength-multiplexed P-D2NN, where a unidirectional magnifier and a unidirectional demagnifier operate simultaneously in opposite directions, at two distinct illumination wavelengths. Furthermore, we demonstrate that by cascading multiple unidirectional P-D2NN modules, we can achieve higher magnification factors. The efficacy of the P-D2NN architecture was also validated experimentally using terahertz illumination, successfully matching our numerical simulations. P-D2NN offers a physics-inspired strategy for designing task-specific visual processors.

研究动机与目标

• 设计一种衍射光学网络，实现高效率、低串扰的单向图像放大与缩小。
• 通过采用金字塔结构的层尺寸缩放方法，减少单向成像所需的衍射自由度数量。
• 尽管仅使用单一波长进行训练，仍实现宽波段波长鲁棒性能。
• 通过波分复用技术，实现单个P-D2NN同时运行单向放大器与缩小器。
• 使用太赫兹辐射和3D打印衍射层，对P-D2NN设计进行实验验证。

提出的方法

• P-D2NN 架构采用随放大或缩小倍数因子呈几何级数缩放的衍射层，与图像传播方向一致。
• 每个衍射层通过监督深度学习进行优化，损失函数旨在最小化正向图像误差并最大化反向图像抑制。
• 网络在高性能GPU集群上使用单精度浮点格式训练，共30个周期，批量大小为96。
• 通过将相位值四舍五入至有限位深（4、3、2位）并施加逐渐增强的随机高斯扰动（𝜏𝑓𝑎𝑏 从 0.01 到 0.2），对相位量化和制造误差进行建模。
• 设计波分复用的P-D2NN，使其在某一波长下作为单向放大器工作，在另一波长下作为单向缩小器工作，实现双功能运行。
• 实验验证采用0.4 THz连续波源照射3D打印的P-D2NN，通过输出平面的2D扫描与1 GHz锁相检测进行测量。

实验结果

研究问题

• RQ1 能否设计一种衍射光学网络，使用比传统D2NN更少的自由度，实现高保真度单向图像放大与缩小，并具备低串扰？
• RQ2 衍射层的金字塔结构缩放是否能提升单向成像任务中的正向能量效率与反向抑制？
• RQ3 尽管仅使用单一波长训练，P-D2NN能否在宽照明波长范围内保持高性能？
• RQ4 单个P-D2NN能否通过波分复用技术同时实现单向放大与缩小？
• RQ5 P-D2NN设计在实际实现中对相位量化与制造误差的鲁棒性如何？

主要发现

• 与采用均匀尺寸层的传统D2NN相比，P-D2NN在正向能量效率和反向能量抑制方面均显著提升。
• 即使仅使用单一波长训练，P-D2NN仍能在宽波长范围内保持高保真度的图像放大与缩小性能。
• 波分复用的P-D2NN成功实现同时在两个不同波长下作为单向放大器与缩小器运行，方向相反。
• 使用太赫兹波照射的实验结果与数值模拟高度吻合，验证了P-D2NN设计在真实光学系统中的可行性。
• P-D2NN对相位量化（最低至2位分辨率）和制造误差（最高至𝜏𝑓𝑎𝑏 = 0.2）表现出鲁棒性，表明其具备实际可行性。
• 级联多个P-D2NN模块可实现更高放大倍数，证明其在复杂成像任务中的可扩展性。