[论文解读] Nonlinear Optical Joint Transform Correlator for Low Latency Convolution Operations

Jonathan George, Maria Solyanik‐Gorgone+3 more|arXiv (Cornell University)|Feb 14, 2022

Optical Network Technologies被引用 6

一句话总结

该论文提出了一种非线性光学联合变换相关器（NL-JTC），通过在4f光学系统中利用全光非线性——特别是四波混频——实现了近乎零延迟的卷积运算。该方法将计算复杂度从O(n⁴)降低至O(n²)，并在数百万个通道上实现大规模并行处理，同时通过接近零折射率（epsilon-near-zero）效应将信噪比提升超过10³。

ABSTRACT

Convolutions are one of the most relevant operations in artificial intelligence (AI) systems. High computational complexity scaling poses significant challenges, especially in fast-responding network-edge AI applications. Fortunately, the convolution theorem can be executed on-the-fly in the optical domain via a joint transform correlator (JTC) offering to fundamentally reduce the computational complexity. Nonetheless, the iterative two-step process of a classical JTC renders them unpractical. Here we introduce a novel implementation of an optical convolution-processor capable of near-zero latency by utilizing all-optical nonlinearity inside a JTC, thus minimizing electronic signal or conversion delay. Fundamentally we show how this nonlinear auto-correlator enables reducing the high $O(n^4)$ scaling complexity of processing two-dimensional data to only $O(n^2)$. Moreover, this optical JTC processes millions of channels in time-parallel, ideal for large-matrix machine learning tasks. Exemplary utilizing the nonlinear process of four-wave mixing, we show light processing performing a full convolution that is temporally limited only by geometric features of the lens and the nonlinear material's response time. We further discuss that the all-optical nonlinearity exhibits gain in excess of $>10^{3}$ when enhanced by slow-light effects such as epsilon-near-zero. Such novel implementation for a machine learning accelerator featuring low-latency and non-iterative massive data parallelism enabled by fundamental reduced complexity scaling bears significant promise for network-edge, and cloud AI systems.

研究动机与目标

• 解决边缘和云AI系统中卷积运算的高计算延迟和复杂性问题。
• 通过全光非线性克服经典联合变换相关器（JTC）的迭代两步限制。
• 实现适用于实时机器学习应用的低延迟、高带宽卷积处理。
• 在相位误差、倾斜角和光束宽度等实际光学系统参数下，展示NL-JTC的可扩展性和鲁棒性。
• 探索片上光子元件的集成，以实现未来紧凑、低功耗的AI加速器。

提出的方法

• 系统采用4f光学配置，利用非线性介质（如Si₃N₄或ENZ材料）在傅里叶平面上实现全光四波混频。
• 输入信号h(x,y)和g(x,y)通过透镜L₁相干合束并进行傅里叶变换，生成空间频谱。
• 通过傅里叶平面上的四波混频实现非线性强度阈值化，直接完成非迭代卷积运算，无需电子转换。
• 输出通过透镜L₂传播，执行逆傅里叶变换，实现实时完整卷积输出。
• 在不同参数下模拟信噪比（SNR）和系统性能：相位误差、调制深度、光束宽度、倾斜角和焦距。
• 系统利用接近零折射率（ENZ）材料中的慢光效应，将非线性增益提升至10³以上。

实验结果

研究问题

• RQ1 在JTC架构中，全光非线性是否能够消除电子转换延迟，实现近乎零延迟的卷积运算？
• RQ2 所提出的NL-JTC在多大程度上将二维卷积的O(n⁴)复杂度降低至O(n²)？
• RQ3 系统级参数变化（如相位误差、光束宽度和倾斜角）如何影响信噪比和输出保真度？
• RQ4 使用ENZ材料或场限制非线性结构是否能显著增强光学处理器中的非线性增益？
• RQ5 该系统在并行性和跨数百万通道的可扩展性方面，其理论和模拟性能上限是什么？

主要发现

• 所提出的NL-JTC通过将经典JTC的迭代两步过程替换为单一全光非线性操作，实现了近乎零延迟的卷积运算。
• 由于光学傅里叶域处理的固有并行性，二维卷积的计算复杂度从O(n⁴)降低至O(n²)。
• 系统以时间并行方式处理数百万个通道，为大规模矩阵机器学习任务提供了巨大的空间带宽和高吞吐量。
• 信噪比（SNR）对相位误差和光束宽度高度敏感，最优性能出现在中等相位误差和宽泛载波光束条件下。
• ENZ材料中的四波混频实现了超过10³的非线性增益，显著提升了输出对比度和系统效率。
• 焦距对SNR影响极小，除非载波光束E₂小于100λ，表明在典型系统配置下具有良好的鲁棒性。