[论文解读] Superconducting Optoelectronic Neurons III: Synaptic Plasticity

Jeffrey M. Shainline, Adam N. McCaughan+6 more|arXiv (Cornell University)|May 4, 2018

Advanced Memory and Neural Computing参考文献 44被引用 6

一句话总结

本文提出一种基于通量存储环以动态控制突触权重的超导光电子神经元架构，具备可调突触可塑性。通过采用单光子探测与约瑟夫森结，该系统实现了具有可编程学习速率、多稳态突触状态及元可塑性的监督与无监督学习，实现了能量高效、可重构的神经计算，具备幂律记忆保持与动态适应能力。

ABSTRACT

As a means of dynamically reconfiguring the synaptic weight of a superconducting optoelectronic loop neuron, a superconducting flux storage loop is inductively coupled to the synaptic current bias of the neuron. A standard flux memory cell is used to achieve a binary synapse, and loops capable of storing many flux quanta are used to enact multi-stable synapses. Circuits are designed to implement supervised learning wherein current pulses add or remove flux from the loop to strengthen or weaken the synaptic weight. Designs are presented for circuits with hundreds of intermediate synaptic weights between minimum and maximum strengths. Circuits for implementing unsupervised learning are modeled using two photons to strengthen and two photons to weaken the synaptic weight via Hebbian and anti-Hebbian learning rules, and techniques are proposed to control the learning rate. Implementation of short-term plasticity, homeostatic plasticity, and metaplasticity in loop neurons is discussed.

研究动机与目标

• 设计一种超导光电子神经元系统，能够实现监督与无监督学习的动态突触权重重构。
• 通过磁通量存储环的互感耦合实现突触可塑性，利用磁通量子存储来表示突触权重。
• 通过可调电流脉冲或光子触发更新实现可编程学习速率。
• 通过动态调节突触更新电流 $I_{\mathrm{su}}$ 支持多稳态突触状态与元可塑性。
• 通过异质突触状态与活动依赖的更新规则，实现幂律记忆保持与自适应学习行为。

提出的方法

• 将超导磁通量存储环与突触电流偏置 $I_{\mathrm{sy}}$ 互感耦合，以量化磁通形式存储突触权重。
• 单光子探测器（SPDs）与约瑟夫森结（JJs）将光信号转换为磁通量子，以增量或减量方式更新突触存储环。
• 在监督学习中，通过方形电流脉冲（$I_{\mathrm{su}}^{+}$, $I_{\mathrm{su}}^{-}$）向突触存储环添加或移除磁通量子，以离散步长调节 $I_{\mathrm{sy}}$。
• 在无监督学习中，通过前突触与后突触神经元的关联光子信号触发双光子事件，实现赫布型或反赫布型更新。
• 通过调节 $I_{\mathrm{su}}$ 控制学习速率，实现突触更新幅度的动态适应。
• 通过使 $I_{\mathrm{su}}$ 依赖于内部突触状态或网络活动，实现元可塑性，从而支持时变学习速率。

实验结果

研究问题

• RQ1 如何利用磁通量存储环在超导光电子神经元中实现突触权重的动态重构？
• RQ2 哪些电路设计可实现具有单光子灵敏度的监督与无监督突触可塑性？
• RQ3 如何实现实时可调的学习速率，以支持长期记忆保持与动态学习？
• RQ4 多稳态突触状态与内部突触状态在实现幂律记忆保持中起什么作用？
• RQ5 如何在超导神经电路中实现元可塑性，以平衡快速学习与记忆稳定性？

主要发现

• 系统通过可存储多个磁通量子的磁通量存储环实现多稳态突触权重，支持数百个中间突触强度等级。
• 监督学习通过电流脉冲实现，可在 50 ps 内完成磁通量子的添加或移除，实现对突触存储环的离散调节。
• 无监督学习通过双光子事件建模，触发赫布型（增强）与反赫布型（减弱）的突触更新。
• 通过调节 $I_{\mathrm{su}}$ 实现学习速率的动态可调，从而控制突触更新幅度并支持元可塑行为。
• 电路通过依赖内部状态的更新规则与活动调制的 $I_{\mathrm{su}}$，支持短期可塑性、稳态可塑性与元可塑性。
• 通过结合多个稳定突触状态与可变的 $q$-态，实现幂律记忆保持，延长记忆寿命而不降低信噪比。