[论文解读] Superconducting Optoelectronic Neurons V: Networks and Scaling

Jeffrey M. Shainline, Jeff Chiles+4 more|arXiv (Cornell University)|May 4, 2018

Neural dynamics and brain function参考文献 69被引用 5

一句话总结

该论文提出了一种可扩展的、类似分形的超导光电子神经网络（SOEN），利用单光子光学互联和超导电路，实现大规模、低功耗的神经网络系统。研究证明，8100个神经元的网络可集成于1 cm²的芯片上，百万神经元系统可容纳于300 mm晶圆上，其功耗密度足够低，可采用液氦冷却，支持最大达10⁵ m²的系统实现相干振荡，神经元数量达一万亿个。

ABSTRACT

Networks of superconducting optoelectronic neurons are investigated for their near-term technological potential and long-term physical limitations. Networks with short average path length, high clustering coefficient, and power-law degree distribution are designed using a growth model that assigns connections between new and existing nodes based on spatial distance as well as degree of existing nodes. The network construction algorithm is scalable to arbitrary levels of network hierarchy and achieves systems with fractal spatial properties and efficient wiring. By modeling the physical size of superconducting optoelectronic neurons, we calculate the area of these networks. A system with 8100 neurons and 330,430 total synapses will fit on a 1\,cm $ imes$ 1\,cm die. Systems of millions of neurons with hundreds of millions of synapses will fit on a 300\,mm wafer. For multi-wafer assemblies, communication at light speed enables a neuronal pool the size of a large data center comprising 100 trillion neurons with coherent oscillations at 1\,MHz. Assuming a power law frequency distribution, as is necessary for self-organized criticality, we calculate the power consumption of the networks. We find the use of single photons for communication and superconducting circuits for computation leads to power density low enough to be cooled by liquid $^4$He for networks of any scale.

研究动机与目标

• 设计基于超导光电子神经元（SOEN）的可扩展、分层的神经网络架构，平衡局部处理与全局整合。
• 通过常规光刻工艺实现物理可制造性，并兼容1 cm²芯片与300 mm晶圆。
• 实现高连通性，通过中心节点（拥有数千至数万个突触）实现高效的信息整合。
• 评估系统向万亿神经元规模长期扩展的潜力，并实现大尺度区域内的相干动力学。
• 证明功耗密度足够低，可采用液态4He冷却，从而实现普遍可扩展性。

提出的方法

• 通过基于空间邻近性和节点度数的网络生长模型生成连接，构建出路径长度短、聚类系数高、度数分布呈幂律的网络。
• 该模型确保网络具备分形空间特性与高效布线，可从单芯片扩展至多晶圆系统。
• 通过建模物理神经元尺寸计算总网络面积，1 cm²芯片可支持8100个神经元与330,430个突触。
• 通过幂律度数分布（p(k) ∝ k⁻ᵞ）与幂律频率分布（p(f) ∝ f⁻ᵐ）建模功耗，能量每激发事件为E(k) = E₀k。
• 将光子与磁通量子能量贡献分离并分析，以优化效率，其中E₀k = (ζhν/η + χn_fq I_c Φ₀)k。
• 通过度数与频率分布的双重积分计算总网络功耗：P_N = N_tot ∫∫ P_n(k,f) p(k)p(f) df dk，功耗密度为P_N / A_N。

实验结果

研究问题

• RQ1 超导光电子神经元能否组织成具有分形空间特性与高效布线的可扩展、分层网络？
• RQ2 在神经元尺寸与光速的物理限制下，1 cm²芯片与300 mm晶圆可实现的最大网络规模是多少？
• RQ3 无论规模如何，功耗密度是否足够低，可采用液氦冷却，从而实现1 MHz的相干振荡？
• RQ4 幂律度数与频率分布如何影响网络功耗与可扩展性？
• RQ5 突触与神经元激发事件的能量效率如何？可通过器件参数如何实现优化？

主要发现

• 1 cm²芯片可容纳8100个神经元与330,430个突触，总占地面积约1 cm²。
• 300 mm晶圆可容纳100万个神经元的网络，包含1亿个突触，符合设计的物理约束。
• 多晶圆集成系统可支持100万亿个神经元，覆盖面积达10⁵ m²，由于光速通信，可实现1 MHz的相干振荡。
• 在γ = 1.4且μ = 2的假设下，8100个神经元网络的功耗为2 mW，百万神经元网络为2 W。
• 随着网络规模增大，功耗密度下降，因面积衰减（k⁻¹.⁴）慢于功耗衰减（k⁻¹.⁰），实现普遍可扩展性。
• 当μ = 2时，频率分布产生1/f功率谱，与自组织临界性一致，并与生物皮层网络中的观测结果相符。