[论文解读] Thermodynamic Computing System for AI Applications

Denis Melanson, Mohammad Abu Khater+8 more|arXiv (Cornell University)|Dec 8, 2023

Neural Networks and Applications被引用 4

一句话总结

本文提出了首个连续变量热力学计算机——随机处理单元（Stochastic Processing Unit, SPU），基于带有开关电容的8个全连接单元的RLC电路构建。该系统实现了高斯采样与矩阵求逆，标志着首次实验性实现热力学线性代数运算，展示了其在低功耗、高能效加速概率性人工智能工作负载（如不确定性量化与生成建模）方面的潜力。

ABSTRACT

Recent breakthroughs in artificial intelligence (AI) algorithms have highlighted the need for novel computing hardware in order to truly unlock the potential for AI. Physics-based hardware, such as thermodynamic computing, has the potential to provide a fast, low-power means to accelerate AI primitives, especially generative AI and probabilistic AI. In this work, we present the first continuous-variable thermodynamic computer, which we call the stochastic processing unit (SPU). Our SPU is composed of RLC circuits, as unit cells, on a printed circuit board, with 8 unit cells that are all-to-all coupled via switched capacitances. It can be used for either sampling or linear algebra primitives, and we demonstrate Gaussian sampling and matrix inversion on our hardware. The latter represents the first thermodynamic linear algebra experiment. We also illustrate the applicability of the SPU to uncertainty quantification for neural network classification. We envision that this hardware, when scaled up in size, will have significant impact on accelerating various probabilistic AI applications.

研究动机与目标

• 开发一种基于物理原理的热力学计算系统，以匹配概率性人工智能算法的随机特性。
• 克服数字硬件在加速计算密集型概率性人工智能任务（如贝叶斯推断与生成建模）方面的局限性。
• 展示一种能够同时执行采样与线性代数运算的连续变量热力学计算机的可工作原型。
• 通过实验实现验证热力学计算在真实世界人工智能工作负载中的可行性。
• 为实现热力学硬件在速度或能效方面超越数字系统的热力学优势奠定基础。

提出的方法

• SPU以印刷电路板形式实现，包含8个RLC单元，每个单元包含一个电感、可通过开关电容阵列调节的可调电容，以及一个电流噪声源。
• 所有单元通过开关电容完全互连，通过中心抽头变压器实现双极耦合。
• 噪声通过FPGA驱动的16位LFSR生成，结合黄金码生成与RC滤波，以近似高斯分布。
• 脉冲密度调制（PDM）通过调制LFSR输出的占空比来控制噪声方差，以实现所需的随机动力学。
• 采样以12 MHz的速率进行，使用8通道10位ADC采集数据，数据在设定电容值并启动噪声后读取。
• 系统通过FPGA协处理器与数字硬件接口连接，支持参数配置与下游处理的数据上传。

Figure 1 : The Stochastic Processing Unit (SPU). (Left panel) The Printed Circuit Board for our 8-cell SPU. (Right panel) Illustration of eight unit cells that are all-to-all coupled to each other, as in our SPU. Each cell contains an LC resonator and a Gaussian current noise source, as shown in the

实验结果

研究问题

• RQ1 能否在物理上实现一个连续变量热力学计算机，以执行概率性人工智能原语（如采样与线性代数）？
• RQ2 SPU是否能利用具有随机动力学的模拟RLC电路实现精确的高斯采样与矩阵求逆？
• RQ3 热力学计算能否在速度或能效方面优于数字硬件，用于概率性人工智能工作负载？
• RQ4 如何在可扩展的模拟硬件平台上生成不相关且可控制的噪声，以支持热力学计算？
• RQ5 该系统在真实世界人工智能应用中实现热力学优势的实用可行性如何？

主要发现

• SPU成功利用具有随机噪声的模拟RLC电路，从用户定义的多元分布中实现高斯采样。
• 该系统首次在热力学计算背景下实验实现了矩阵求逆，验证了其在执行线性代数原语方面的适用性。
• 12 MHz的采样速率经过优化，以最小化样本间的时序相关性，确保统计独立性。
• 噪声源通过LFSR结合黄金码与RC滤波生成，以高保真度近似高斯分布。
• 基于FPGA的控制系统可精确配置电路参数，并实现从ADC的实时数据采集。
• 硬件接口支持与数字系统的集成，可实现协同处理，适用于神经网络中不确定性量化的AI工作负载。

Figure 2 : Voltage samples from two coupled unit cells of the SPU. Top Left: Histogram of the marginal of cell $i$ . Top Right: Absolute error between the target covariance matrix and the device covariance matrix, similarly for the skewness and kurtosis, all calculated using the Frobenius norm. Bott