[论文解读] Vector Symbolic Architectures as a Computing Framework for Nanoscale Hardware.

Denis Kleyko, Mike Davies+9 more|arXiv (Cornell University)|Jun 9, 2021

Ferroelectric and Negative Capacitance Devices参考文献 120被引用 35

一句话总结

本文提出向量符号架构（VSAs）作为一种面向随机性、纳米级硬件的计算框架，利用高维向量代数实现高效、基于叠加的计算。该框架支持图灵完备运算、原生分布式表示，以及高效解决组合性人工智能问题。

ABSTRACT

This article reviews recent progress in the development of the framework Vector Symbolic Architectures (also known as Hyperdimensional Computing). This framework is well suited for implementation in stochastic, nanoscale hardware and it naturally expresses the types of cognitive operations required for Artificial Intelligence (AI). We demonstrate in this article that the ring-like algebraic structure of Vector Symbolic Architectures offers simple but powerful operations on high-dimensional vectors that can support all data structures and manipulations relevant in modern computing. In addition, we illustrate the distinguishing feature of Vector Symbolic Architectures, computing in superposition, which sets it apart from conventional computing. This latter property opens the door to efficient solutions to the difficult combinatorial search problems inherent in AI applications. Vector Symbolic Architectures are Turing complete, as we show, and we see them acting as a framework for with distributed representations in myriad AI settings. This paper serves as a reference for computer architects by illustrating techniques and philosophy of VSAs for distributed and relevance to emerging hardware, such as neuromorphic computing.

研究动机与目标

• 将向量符号架构（VSAs）确立为新兴纳米级和随机性硬件平台的可行计算框架。
• 证明VSAs通过高维向量代数自然支持人工智能所需的关键认知运算。
• 突出计算叠加的独特能力，实现对人工智能中组合性搜索问题的高效处理。
• 表明VSAs是图灵完备的，从而支持使用分布式表示的一般性计算。
• 为计算机架构师提供使用VSAs和分布式表示设计AI原生系统的概念与技术基础。

提出的方法

• 利用高维向量上的环状代数结构，执行诸如绑定、叠加和置换等符号运算。
• 将数据和概念表示为分布式高维向量，通过向量运算编码语义和结构关系。
• 利用叠加特性在向量状态上同时执行多项计算，降低计算复杂度。
• 应用如绑定（例如使用循环移位或外积）和置换等操作，在向量空间中组合和操纵符号结构。
• 通过证明其能够通过向量运算模拟通用计算，将框架形式化为图灵完备系统。
• 将VSA运算映射到神经形态和纳米级硬件约束上，强调其对噪声和随机性的鲁棒性。

实验结果

研究问题

• RQ1 如何构建向量符号架构，以在随机性、纳米级硬件上支持通用计算？
• RQ2 在VSAs中进行叠加计算相较于经典计算，在AI工作负载中提供哪些优势？
• RQ3 高维向量的哪些代数特性使得VSAs能够实现符号运算和数据结构？
• RQ4 VSA框架如何支持与人工智能相关的分布式表示和认知运算？
• RQ5 在保持与新兴硬件范式兼容的前提下，VSAs在多大程度上可被证明为图灵完备？

主要发现

• 由于对噪声具有鲁棒性且具备内在容错能力，向量符号架构在随机性、纳米级硬件中具有天然适用性。
• VSAs的环状代数结构使得在高维向量上实现简单而强大的运算，支持现代计算中的所有基本数据结构和操作。
• 通过叠加计算，VSAs能够高效解决人工智能中常见的组合性搜索问题，在某些情境下优于经典方法。
• VSAs已被形式化证明为图灵完备，确认其使用分布式表示实现通用计算的能力。
• 该框架自然表达诸如绑定和置换等认知运算，实现在向量空间中的符号推理。
• VSAs为多样化AI应用中的分布式表示提供统一框架，架起了符号AI与连接主义方法之间的桥梁。