[论文解读] QubitHD: A Stochastic Acceleration Method for HD Computing-Based Machine Learning

Samuel Bosch, Alexander Sanchez de la Cerda+3 more|arXiv (Cornell University)|Nov 27, 2019

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

QubitHD 提出了一种基于超维（HD）计算的机器学习随机二值化方法，在显著提升能效和训练速度的同时，保持了高分类准确率。受量子测量启发，该方法采用随机二值化以稳定训练过程并减少收敛时间，在FPGA上相比最先进HD方法实现65%的能效提升和95%的训练速度提升。

ABSTRACT

Machine Learning algorithms based on Brain-inspired Hyperdimensional(HD) computing imitate cognition by exploiting statistical properties of high-dimensional vector spaces. It is a promising solution for achieving high energy efficiency in different machine learning tasks, such as classification, semi-supervised learning, and clustering. A weakness of existing HD computing-based ML algorithms is the fact that they have to be binarized to achieve very high energy efficiency. At the same time, binarized models reach lower classification accuracies. To solve the problem of the trade-off between energy efficiency and classification accuracy, we propose the QubitHD algorithm. It stochastically binarizes HD-based algorithms, while maintaining comparable classification accuracies to their non-binarized counterparts. The FPGA implementation of QubitHD provides a 65% improvement in terms of energy efficiency, and a 95% improvement in terms of training time, as compared to state-of-the-art HD-based ML algorithms. It also outperforms state-of-the-art low-cost classifiers (such as Binarized Neural Networks) in terms of speed and energy efficiency by an order of magnitude during training and inference.

研究动机与目标

• 解决二值化超维（HD）计算机器学习中能效与分类准确率之间的权衡问题。
• 克服现有二值化技术导致准确率下降和训练时间增加的局限性。
• 在不牺牲分类性能的前提下，提升基于HD模型的训练稳定性和收敛速度。
• 通过提升能效和推理速度，实现HD计算在低功耗边缘设备上的实际部署。
• 在能效和速度方面，证明其优于基于HD和非HD的轻量级分类器（如BNNs、MLPs）

提出的方法

• 受量子测量启发，引入随机二值化：在训练前将浮点数超向量随机映射为二值。
• 用汉明距离替代计算成本较高的余弦相似度进行相似度检测，降低计算开销。
• 在训练过程中使用随机二值化，防止陷入局部极小值，加速向最优解的收敛。
• 在FPGA上实现该算法，以实现高速训练和低功耗推理。
• 通过高维向量的统计特性，在二值化后仍保持高分类准确率。
• 通过在随机二值化后仅使用二值运算优化训练过程，减少操作量，提升能效。

实验结果

研究问题

• RQ1 在HD计算中，随机二值化是否能在保持与非二值化模型相当的分类准确率的同时，提升能效？
• RQ2 与确定性二值化方法相比，二值化过程中引入随机性是否能提升训练收敛速度和稳定性？
• RQ3 在FPGA上，QubitHD在能效和训练速度方面相较于最先进HD算法的性能提升程度如何？
• RQ4 与非HD轻量级分类器（如BNNs和MLPs）相比，QubitHD在能效和推理速度方面表现如何？
• RQ5 在HD计算中，汉明距离是否可替代余弦相似度而不降低分类性能？

主要发现

• QubitHD平均将二值化与非二值化HD模型之间的分类准确率差距缩小了38.8%。
• 由于随机二值化有效避免局部极小值，其收敛速度比QuantHD快30–50%。
• FPGA上的QubitHD实现相比最先进HD算法，能效提升65%，训练时间减少95%。
• 与非二值化HD模型相比，QubitHD在能效上提升56倍，在训练加速上提升8倍。
• 与BNNs相比，QubitHD将CPU训练时间缩短101倍，在FPGA上的推理速度提升20倍。
• QubitHD在分类准确率上与BNNs和MLPs相当（如ISOLET数据集上为95.3%，UCIHAR数据集上为94.1%），但在能效和速度方面实现显著超越。