[论文解读] R-DBN: A Resistive Deep Belief Network Architecture Leveraging the Intrinsic Behavior of Probabilistic Devices.

Ramtin Zand, Kerem Y. Çamsarı+5 more|arXiv (Cornell University)|Sep 30, 2017

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出R-DBN，一种基于纳米磁性p-bit的阻性深度置信网络，可原生实现具有S型激活函数的概率神经元。通过集成CMOS与自旋基加权阵列以实现RBMs，该架构在仅使用5,000个训练样本的情况下，于MNIST数字识别任务中实现了3.7%的错误率，显著低于采用更深的784x800x800x10拓扑结构的基线36.8%错误率。

ABSTRACT

A resistive deep belief network (R-DBN) architecture is developed using the physics of nanomagnets to provide a natural hardware representation for individual probabilistic neurons. Probabilistic spin logic devices (p-bits) are modeled to demonstrate a sigmoidal activation function. A hybrid CMOS/spin based weighted array structure is designed to implement a restricted Boltzmann machine (RBM). Device-level simulations based on precise physics relations are used to validate the sigmoidal relation between the output probability of a p-bit and its input currents. Characteristics of the resistive networks and p-bits are modeled in SPICE to perform a circuit-level simulation, which investigates the performance, area, and power consumption tradeoffs of the weighted array. In the application-level simulation, an R-DBN is implemented in MATLAB for digit recognition using the extracted device and circuit behavioral models. The MNIST data set is used to assess the accuracy of the R-DBN using 100 to 5,000 training images for five distinct network topologies. The results indicate that a baseline error rate of 36.8% for a 784x10 R-DBN trained by 100 samples can be reduced to only 3.7% using a 784x800x800x10 R-DBN trained by 5,000 input samples. Finally, power dissipation and accuracy tradeoffs for probabilistic computing mechanisms using resistive devices are identified.

研究动机与目标

• 开发一种硬件感知的深度置信网络架构，使其自然映射到概率自旋器件（p-bit）的内在行为。
• 通过器件级物理仿真，对p-bit的S型激活函数进行建模与验证。
• 通过电路级SPICE仿真，优化阻性加权阵列在性能、面积与功耗之间的权衡。
• 在真实世界分类任务中，通过MNIST数据集评估R-DBN的准确率与能效。
• 识别在使用阻性纳米磁性器件进行概率计算时的功耗与准确率权衡。

提出的方法

• 利用精确的物理关系对p-bit进行建模，以基于输入电流准确模拟S型输出概率。
• 设计一种混合CMOS/自旋基加权阵列，通过阻性交叉条架构实现受限玻尔兹曼机（RBM）。
• 进行SPICE级仿真，分析电路级特性，包括功耗、面积与性能的权衡。
• 将器件与电路行为模型整合至基于MATLAB的R-DBN框架中，用于应用级评估。
• 在MNIST数据集上，针对五种不同网络拓扑结构（深度与训练样本数量各异）进行R-DBN的训练与测试。
• 通过实测错误率量化网络深度、训练数据规模与分类准确率之间的关系。

实验结果

研究问题

• RQ1 p-bit能否通过其内在自旋动力学自然实现S型激活函数？
• RQ2 由CMOS与自旋基器件组成的阻性加权阵列中，功耗、面积与性能的权衡如何变化？
• RQ3 在不同网络深度与训练数据规模下，R-DBN在MNIST数据集上的可实现分类准确率是多少？
• RQ4 增加网络深度与训练样本数量如何影响R-DBN架构的错误率？
• RQ5 在使用阻性纳米磁性器件进行概率计算时，其基本的功耗与准确率权衡关系是什么？

主要发现

• p-bit器件成功模拟了S型激活函数，其输出概率与物理模型预测的输入电流关系高度一致。
• 当采用784x10 R-DBN架构并仅使用100个样本训练时，混合CMOS/自旋加权阵列在MNIST上实现了36.8%的错误率。
• 当网络深度增至784x800x800x10，并将训练数据增加至5,000个样本时，错误率降低至3.7%。
• R-DBN在增加网络深度与训练数据规模时表现出显著的准确率可扩展性，表明其在概率硬件中具备有效的学习能力。
• 电路级SPICE仿真证实，该阻性网络设计在功耗与性能之间实现了有利的权衡。
• 本研究明确识别出能量耗散与分类准确率之间的权衡，凸显了阻性p-bit器件在低功耗概率推理中的潜力。