[论文解读] Stochastic Configuration Machines: FPGA Implementation

Matthew J. Felicetti, Dianhui Wang|arXiv (Cornell University)|Oct 30, 2023

Machine Learning and ELM被引用 9

一句话总结

本文在 FPGA 上实现带二进制权重的 SCMs，提出二进制输入编码方案，并在多个数据集上展示接近 PC 的精度，同时具备内存和速度方面的优势。

ABSTRACT

Neural networks for industrial applications generally have additional constraints such as response speed, memory size and power usage. Randomized learners can address some of these issues. However, hardware solutions can provide better resource reduction whilst maintaining the model's performance. Stochastic configuration networks (SCNs) are a prime choice in industrial applications due to their merits and feasibility for data modelling. Stochastic Configuration Machines (SCMs) extend this to focus on reducing the memory constraints by limiting the randomized weights to a binary value with a scalar for each node and using a mechanism model to improve the learning performance and result interpretability. This paper aims to implement SCM models on a field programmable gate array (FPGA) and introduce binary-coded inputs to the algorithm. Results are reported for two benchmark and two industrial datasets, including SCM with single-layer and deep architectures.

研究动机与目标

• 在对速度、内存和功耗有约束的工业应用中，推动硬件高效的神经网络模型。
• 将随机配置网络扩展为适用于 FPGA 部署的二进制权重 SCMs。
• 引入并评估用于驱动硬件上 SCM 性能的二进制输入编码方案。
• 在保持跨数据集的准确性的同时，展示内存减小与功耗/速度提升。
• 将 FPGA SCM 的性能与 FPGA SCN 和 PC 实现进行对比。

提出的方法

• 回顾并总结 SCM 的基础原理，包括机制模型和监督节点选择。
• 将输入编码为二进制值，采用多种编码方案以适应硬件约束。
• 在 FPGA 上实现 SCM，使用通过 XNOR-计数实现的二进制点积和定点运算。
• 使用三阶段流水线：机制模型评估、二进制权重隐藏层计算，以及输出权重优化。
• 在四个数据集上评估单层和深层 SCM 架构，将 FPGA SCM 与 PC SCM 进行比较，并报告 RMSE 和资源指标。
• 通过存储每个节点的 lambda 缩放因子和二进制权重来展示内存降低策略。

实验结果

研究问题

• RQ1 带二进制权重的 SCM 是否能够在多样化数据集上保持与 PC 实现相近的准确性？
• RQ2 二进制输入编码方案如何影响 FPGA SCM 的性能与内存使用？
• RQ3 与单层 SCM 相比，深层 SCM 架构对准确性和硬件效率有何影响？
• RQ4 在速度、内存和功耗方面，FPGA SCM 的结果与 SCN 实现相比如何？
• RQ5 哪些编码选择能在具有不同特征的工业数据集上优化 FPGA SCM 的性能？

主要发现

• FPGA SCM 在所测试的配置中实现了几乎与 PC SCM 相同的准确性（示例在多种设置下 RMSE 差异处于微量到子 ppm 范围）。
• 二进制输入编码方案带来数据集相关的增益，编码方案的选择影响 Table 1 的训练/测试 RMSE。
• 深度 SCM 模型（如 40-40-40 节点配置）保持高精度，RMSE 根据数据集和激活函数在 0.008–0.034 范围内。
• 基于 XNOR-count 的点积和定点运算实现无乘法器的硬件实现，从而降低资源使用。
• 通过存储每个节点的 lambda 缩放值并以二进制形式表示隐藏权重（三比特 lambda 编码）实现内存降低。
• FPGA SCM 的结果与 FPGA SCN 和 PC SCM 的性能高度接近，展示了对硬件友好的精度以及速度和功耗方面的优势。