[论文解读] Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures

Mike Heddes, Igor Nunes+6 more|arXiv (Cornell University)|May 18, 2022

Ferroelectric and Negative Capacitance Devices被引用 15

一句话总结

Torchhd 是一个基于 PyTorch 的开源 Python 库，用于加速超维计算（HD）和向量符号架构（VSA）的研究，提供六种主要 HD/VSA 模型的高性能、GPU 加速实现。其执行速度相比现有公开代码库最高可提升 100 倍，同时支持自动微分、模块化设计和基准数据集，显著降低了新手和专家研究人员的入门门槛。

ABSTRACT

Hyperdimensional computing (HD), also known as vector symbolic architectures (VSA), is a framework for computing with distributed representations by exploiting properties of random high-dimensional vector spaces. The commitment of the scientific community to aggregate and disseminate research in this particularly multidisciplinary area has been fundamental for its advancement. Joining these efforts, we present Torchhd, a high-performance open source Python library for HD/VSA. Torchhd seeks to make HD/VSA more accessible and serves as an efficient foundation for further research and application development. The easy-to-use library builds on top of PyTorch and features state-of-the-art HD/VSA functionality, clear documentation, and implementation examples from well-known publications. Comparing publicly available code with their corresponding Torchhd implementation shows that experiments can run up to 100x faster. Torchhd is available at: https://github.com/hyperdimensional-computing/torchhd.

研究动机与目标

• 解决超维计算（HD）和向量符号架构（VSA）领域缺乏统一、高性能且可访问的开源软件栈的问题。
• 通过提供直观、符合 Python 惯用风格的接口、清晰的文档和示例，降低新手研究人员进入 HD/VSA 领域的门槛。
• 通过提供核心 HD/VSA 模型的 GPU 加速、最先进的实现，加速研究和应用开发。
• 通过模块化、可扩展的抽象，同时支持新型 HD/VSA 算法的概念性探索和性能关键型评估。

提出的方法

• Torchhd 基于 PyTorch 构建，以利用其张量计算、自动微分和硬件加速能力。
• 实现了六种主要 HD/VSA 模型：二值喷溅编码（BSC）、乘加置换（MAP）、全息缩减表示（HRR）、傅里叶 HRR（FHRR）、稀疏块编码（SBC）以及基于向量的变换绑定（VTB）。
• 该库提供模块化、可组合的 API，允许用户根据研究需求自由组合组件。
• 支持自动微分，可实现混合神经符号模型的端到端训练。
• Torchhd 包含与 129 个在 HD/VSA 研究中常用基准数据集的接口，支持可复现的评估。
• 设计强调 Python 惯用风格和开发人员体验，同时通过优化的张量操作确保高性能。

实验结果

研究问题

• RQ1 一个高性能、可访问且模块化的开源库，如何加速超维计算和向量符号架构的研究？
• RQ2 与现有公开实现相比，Torchhd 在 HD/VSA 实验执行速度方面能提升多少？
• RQ3 Torchhd 是否能通过统一且可扩展的 API，有效支持以应用为导向的研究和 HD/VSA 原语的理论探索？
• RQ4 Torchhd 与更广泛的机器学习生态系统的集成程度如何，特别是与 PyTorch 的集成，以支持混合神经符号建模？
• RQ5 标准化、文档齐全且高性能的库对 HD/VSA 在多学科研究社区中的采用与推进有何影响？

主要发现

• 使用 Torchhd 的实验相比公开可用的相同 HD/VSA 算法实现，最高可实现 100 倍的加速。
• 该库成功与 PyTorch 的自动微分系统集成，支持混合神经符号模型的端到端可微训练。
• Torchhd 支持 129 个在 HD/VSA 研究中常用的基准数据集，有助于实现标准化评估和可复现性。
• 其模块化、符合 Python 惯用风格的设计使研究人员能够轻松采用和扩展组件，同时不牺牲性能或表达力。
• 通过基于 PyTorch 构建，Torchhd 实现了与硬件加速的无缝集成，并可轻松融入现有的深度学习工作流。
• 该库清晰的文档和示例实现显著降低了新用户进入 HD/VSA 领域的学习曲线。