[论文解读] RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement

Ronald Davis, Zaijun Chen+2 more|arXiv (Cornell University)|Jul 8, 2022

Neural Networks and Reservoir Computing被引用 6

一句话总结

本文提出一种光子深度学习处理器 MAFT-ONN，通过在光频率域编码数据，利用光电乘法在单次操作中完成矩阵-向量乘法，并通过单个电光调制器实现非线性激活。该处理器实现光速限制的延迟和带宽限制的吞吐量，支持对语音和射频信号等时间波形的实时推理，采用可扩展、低复杂度的硬件设计，并使用商用组件。

ABSTRACT

Edholm's Law predicts exponential growth in data rate and spectrum bandwidth for communications and is forecasted to remain true for the upcoming deployment of 6G. Compounding this issue is the exponentially increasing demand for deep neural network (DNN) compute, including DNNs for signal processing. However, the slowing of Moore's Law due to the limitations of transistor-based electronics means that completely new paradigms for computing will be required to meet these increasing demands for advanced communications. Optical neural networks (ONNs) are promising DNN accelerators with ultra-low latency and energy consumption. Yet state-of-the-art ONNs struggle with scalability and implementing linear with in-line nonlinear operations. Here we introduce our multiplicative analog frequency transform ONN (MAFT-ONN) that encodes the data in the frequency domain, achieves matrix-vector products in a single shot using photoelectric multiplication, and uses a single electro-optic modulator for the nonlinear activation of all neurons in each layer. We experimentally demonstrate the first hardware accelerator that computes fully-analog deep learning on raw RF signals, performing single-shot modulation classification with 85% accuracy, where a 'majority vote' multi-measurement scheme can boost the accuracy to 95% within 5 consecutive measurements. In addition, we demonstrate frequency-domain finite impulse response (FIR) linear-time-invariant (LTI) operations, enabling a powerful combination of traditional and AI signal processing. We also demonstrate the scalability of our architecture by computing nearly 4 million fully-analog multiplies-and-accumulates for MNIST digit classification. Our latency estimation model shows that due to the Shannon capacity-limited analog data movement, MAFT-ONN is hundreds of times faster than traditional RF receivers operating at their theoretical peak performance.

研究动机与目标

• 通过光子硬件加速最小化数据移动，以解决深度神经网络（DNN）推理中的冯·诺依曼瓶颈。
• 开发一种可扩展的全模拟光神经网络，高效集成单个光子平台上的线性矩阵运算与非线性激活。
• 通过利用光速和光带宽，实现实时推理模拟时间波形（如语音和射频信号）。
• 通过仅使用商用现成组件，展示一种实用、低复杂度的 DNN 加速器，确保可访问性和可扩展性。
• 通过在光学带宽和信噪比的物理极限下运行，实现香农限制的数据移动。

提出的方法

• 数据和权重通过光学频率模式的振幅和相位进行编码，实现在多个频率通道上的并行计算。
• 通过光电乘法在单次操作中完成矩阵-向量乘法，该方法相干地将输入信号与加权调制的光载波结合。
• 所有神经元的非线性激活通过单个双平行马赫-曾德尔调制器（DPMZM）实现，该调制器在线性应用非线性转移函数。
• 系统采用基于离散余弦变换（DCT）的频域编码方案，以建模 MZM 的非线性响应，并实现精确的离线训练。
• 一种“环形”架构变体使用光纤延迟线存储中间结果，使单套调制器即可支持任意网络深度，降低硬件复杂度。
• 整个系统通过现成组件（包括激光二极管、DPMZM 和射频信号发生器）进行实验验证，并通过数模转换和模数转换实现与数字数据的接口。

实验结果

研究问题

• RQ1 光子 DNN 是否能以光速限制的延迟实现实时推理时间模拟信号（如语音和射频波形）？
• RQ2 单个电光调制器是否能同时对单层中所有神经元实现非线性激活，同时保持高精度和可扩展性？
• RQ3 频域编码与光电乘法是否能实现硬件开销极小的单次矩阵-向量乘法？
• RQ4 系统是否能在量子噪声极限内运行，同时实现带宽限制的吞吐量并最小化数据移动？
• RQ5 仅使用商用现成组件是否可行实现可扩展、低复杂度的 DNN 加速器？

主要发现

• MAFT-ONN 处理器使用由商用组件组装的硬件设置，在三层 DNN 上实现了 MNIST 图像的实时推理。
• 系统展示了光速限制的延迟，其最小处理延迟由光信号的往返时间决定。
• 吞吐量仅受光学带宽和信噪比限制，实现了香农限制的数据移动。
• 非线性激活通过单个 DPMZM 成功实现，调制器的非线性通过基于 DCT 的近似建模，从而实现精确的离线训练。
• 实验装置的非线性阈值约为 27 dBm，使用标准激光功率即可实现，若采用低-Vπ 调制器可降低至 -47 dBm，从而支持低功耗输入信号运行。
• “环形”架构变体被证明可使用单套调制器支持任意 DNN 深度，显著降低深层网络的硬件复杂度和功耗。