[论文解读] Understanding Hyperdimensional Computing for Parallel Single-Pass Learning

Changyuan Yu, Yichi Zhang+2 more|arXiv (Cornell University)|Feb 10, 2022

Ferroelectric and Negative Capacitance Devices被引用 14

一句话总结

本文通过分析高维二值向量可表示的相似性矩阵，提出了一套理论框架，以理解超维度计算（HDC）的表征能力极限。该研究提出使用随机傅里叶特征（RFF）进行改进初始化，并引入一类新型向量符号架构（VSAs）——有限群VSAs，其表征能力超越HDC，能够表达更广泛的相似性矩阵，在MNIST数据集上实现高达7.6%的准确率提升，同时保持硬件效率。

ABSTRACT

Hyperdimensional computing (HDC) is an emerging learning paradigm that computes with high dimensional binary vectors. It is attractive because of its energy efficiency and low latency, especially on emerging hardware -- but HDC suffers from low model accuracy, with little theoretical understanding of what limits its performance. We propose a new theoretical analysis of the limits of HDC via a consideration of what similarity matrices can be "expressed" by binary vectors, and we show how the limits of HDC can be approached using random Fourier features (RFF). We extend our analysis to the more general class of vector symbolic architectures (VSA), which compute with high-dimensional vectors (hypervectors) that are not necessarily binary. We propose a new class of VSAs, finite group VSAs, which surpass the limits of HDC. Using representation theory, we characterize which similarity matrices can be "expressed" by finite group VSA hypervectors, and we show how these VSAs can be constructed. Experimental results show that our RFF method and group VSA can both outperform the state-of-the-art HDC model by up to 7.6\% while maintaining hardware efficiency.

研究动机与目标

• 确定在使用二值超向量时，超维度计算（HDC）的理论限制。
• 分析当前HDC系统尽管具备硬件效率，但为何仍存在低模型准确率的问题。
• 基于可表征的相似性矩阵集合，提出一种新的表征能力理论度量。
• 开发改进的初始化技术，并提出一类新型VSAs，以扩展可表征的相似性矩阵范围。
• 证明这些改进在显著提升标准基准测试性能的同时，仍能保持硬件效率。

提出的方法

• 基于给定VSA可表征的相似性矩阵集合，提出一种新的表征能力理论概念。
• 利用表示理论，刻画有限群VSAs可表达的相似性矩阵类型。
• 提出基于RFF的二值HDC初始化方法，以改善向量分布与相似性矩阵的表征能力。
• 设计基于阶为2^n的循环群元素的有限群VSAs，实现比二值HDC更丰富的向量运算。
• 预先构建群VSAs的相似性矩阵，以降低在线计算延迟。
• 通过电路深度复杂度（CDC）分析评估硬件效率，并与现有HDC及神经网络实现进行比较。

实验结果

研究问题

• RQ1 HDC中的二值超向量可表征哪些类别的相似性矩阵？其表征能力受到何种限制？
• RQ2 当前HDC中的初始化方法如何限制可表征的相似性矩阵集合，并影响学习性能？
• RQ3 随机傅里叶特征（RFF）是否能在不增加向量维度或复杂度的前提下，提升二值HDC的表征能力？
• RQ4 有限群VSAs可表征哪些类别的相似性矩阵？其表征能力如何超越HDC？
• RQ5 RFF初始化的HDC与有限群VSAs在MNIST等基准任务上，能在多大程度上提升准确率，同时保持硬件效率？

主要发现

• 基于RFF的初始化使HDC在MNIST上的准确率相比最先进二值HDC最高提升6.4%，且不增加向量维度或复杂度。
• 有限群VSAs，特别是G(2^4)-VSA，在MNIST上达到92.56%的测试准确率，比1000维二值RFF-HDC高出27个百分点。
• 所提出的RFF方法与群VSAs方法在MNIST上均比最先进HDC模型最高提升7.6%的准确率。
• 电路深度分析显示，HDC与群VSAs的延迟显著低于1比特RFF感知机，HDC为295 CDC，G(2^3)-VSA为405 CDC，表明其具有极强的硬件效率。
• 理论框架揭示，HDC的表征能力从根本上受限于其无法表征某些贝叶斯最优相似性矩阵，即使使用高维向量亦然。
• 群VSAs将可表征的相似性矩阵集合扩展至超越二值HDC与RFF-HDC的范围，实现更好的泛化能力与更高准确率，同时保持低延迟计算。