[论文解读] Quantum-limited stochastic optical neural networks operating at a few quanta per activation

Shi-Yuan Ma, Tianyu Wang+3 more|arXiv (Cornell University)|Jul 28, 2023

Neural Networks and Reservoir Computing被引用 6

一句话总结

本文展示了通过将随机光探测过程作为学习算法的一部分，光学神经网络可在每个激活仅使用少量光子（低至每MAC操作0.008个光子）的情况下实现高精度图像分类。尽管由于量子噪声导致信噪比接近1，该方法通过结合物理知识的随机训练，将单光子探测建模为网络运行的固有部分，仍实现了98%的MNIST测试准确率。

ABSTRACT

Energy efficiency in computation is ultimately limited by noise, with quantum limits setting the fundamental noise floor. Analog physical neural networks hold promise for improved energy efficiency compared to digital electronic neural networks. However, they are typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large, and the noise can be treated as a perturbation. We study optical neural networks where all layers except the last are operated in the limit that each neuron can be activated by just a single photon, and as a result the noise on neuron activations is no longer merely perturbative. We show that by using a physics-based probabilistic model of the neuron activations in training, it is possible to perform accurate machine-learning inference in spite of the extremely high shot noise (SNR ~ 1). We experimentally demonstrated MNIST handwritten-digit classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to just 0.038 photons per multiply-accumulate (MAC) operation. Our physics-aware stochastic training approach might also prove useful with non-optical ultra-low-power hardware.

研究动机与目标

• 探究模拟光学神经网络在信号与噪声比接近1（由于单光子探测）的超低功耗状态下是否仍能保持高精度。
• 通过开发一种显式将量子噪声建模为网络计算一部分的训练框架，克服光探测过程中极端随机性带来的挑战。
• 证明即使每个神经元激活仅使用少量量子态，也可通过以散粒噪声为主导的光学系统可靠完成确定性分类任务。
• 通过软硬件协同设计，将软件与基于物理的训练结合，引入物理噪声模型而非将噪声视为扰动，建立面向能效AI硬件的新范式。

提出的方法

• 作者开发了一种随机光探测神经网络（SPDNN），将每个神经元的激活建模为受单光子探测泊松统计支配的随机过程。
• 他们使用对随机光探测过程的可微分近似进行网络训练，通过将期望输出表示为输入强度和探测概率的函数，实现在噪声中的反向传播。
• 训练过程显式引入了量子噪声极限，将每次探测的平均光子数作为前向与反向传播中的关键参数。
• 网络在物理光学系统中实现，使用单光子探测器（SPDs）处理隐层激活，光学信号以经典相干态编码。
• 系统在MNIST上端到端训练，采用考虑光探测随机性的物理感知损失函数，即使在高噪声条件下也能实现收敛。
• 实验验证采用自由空间光学系统，单隐层在单光子状态下运行，仅使用极低光学能量即实现高准确率。

Figure 1: Deterministic inference using noisy neural-network hardware. a , The concept of a stochastic physical neural network performing a classification task. Given a particular input image to classify, repetitions exhibits variation (represented by different traces of the same color), but the cla

实验结果

研究问题

• RQ1 当光学神经网络在仅每个激活使用少量光子的量子噪声限制状态下运行时，是否仍能保持高分类准确率？
• RQ2 当光探测过程本质上具有随机性且信噪比约为1时，是否仍能有效训练神经网络？
• RQ3 在训练过程中显式建模单光子探测的概率特性，是否能实现尽管存在硬件级噪声但依然可靠的确定性推理？
• RQ4 在光学神经网络中实现高精度推理所需的每MAC操作最小光学能量是多少？

主要发现

• 作者在MNIST手写数字分类任务中，使用在单光子状态下运行的隐层光学神经网络，实现了98%的测试准确率。
• 系统每MAC操作仅使用0.008个光子，相当于每MAC操作仅消耗0.003艾焦耳（attojoules）的光学能量，比以往最先进的低功耗演示方案少40倍以上。
• 尽管信噪比约为1，网络仍保持高准确率，证明只要在训练中正确建模，量子噪声并不会阻碍可靠计算。
• 基于物理知识的训练方法成功捕捉了单光子探测的随机行为，使在极端噪声下仍能实现有效的反向传播与收敛。
• 实验设置证实，只要训练过程考虑了底层物理随机性，即使在量子噪声极限下运行的光学系统也能实现确定性推理。

Figure 2: Single-photon-detection neural networks (SPDNNs): physics-aware stochastic training and inference . a , A single layer of an SPDNN, comprising an optical matrix-vector multiplier (optical MVM, in grey) and single-photon detectors (SPDs; in red), which perform stochastic nonlinear activatio