[论文解读] Shift-Equivariant Similarity-Preserving Hypervector Representations of Sequences

Dmitri A. Rachkovskij|arXiv (Cornell University)|Dec 31, 2021

Ferroelectric and Negative Capacitance Devices被引用 9

一句话总结

本文提出了一种基于稀疏二进制分布式表示（SBDR）中基于排列的排序方式的、具有平移等变性且保持相似性的超向量编码方法，用于序列表示。通过将序列元素表示为组合式超向量，并应用排列来编码位置，该方法在性能上与依赖丰富特征的方法相当——展示了对序列平移的鲁棒性和不变性，同时保持了结构相似性。

ABSTRACT

Hyperdimensional Computing (HDC), also known as Vector-Symbolic Architectures (VSA), is a promising framework for the development of cognitive architectures and artificial intelligence systems, as well as for technical applications and emerging neuromorphic and nanoscale hardware. HDC/VSA operate with hypervectors, i.e., distributed vector representations of large fixed dimension (usually > 1000). One of the key ingredients of HDC/VSA are the methods for encoding data of various types (from numeric scalars and vectors to graphs) into hypervectors. In this paper, we propose an approach for the formation of hypervectors of sequences that provides both an equivariance with respect to the shift of sequences and preserves the similarity of sequences with identical elements at nearby positions. Our methods represent the sequence elements by compositional hypervectors and exploit permutations of hypervectors for representing the order of sequence elements. We experimentally explored the proposed representations using a diverse set of tasks with data in the form of symbolic strings. Although our approach is feature-free as it forms the hypervector of a sequence from the hypervectors of its symbols at their positions, it demonstrated the performance on a par with the methods that apply various features, such as subsequences. The proposed techniques were designed for the HDC/VSA model known as Sparse Binary Distributed Representations. However, they can be adapted to hypervectors in formats of other HDC/VSA models, as well as for representing sequences of types other than symbolic strings.

研究动机与目标

• 开发一种对序列平移不变但能保持相似序列之间相似性的序列超向量表示方法。
• 解决在超维计算（HDC）中编码序列顺序的挑战，而无需依赖手工设计的特征（如子序列）。
• 设计一种方法，即使在序列发生平移时，也能保持具有相似局部模式的序列之间的结构相似性。
• 确保与稀疏二进制分布式表示（SBDR）模型兼容，同时可适配于其他HDC/VSA框架。

提出的方法

• 将序列中的每个符号映射到高维空间中一个随机且固定的超向量（SBDR格式）。
• 通过对其基础超向量应用排列来编码每个符号在序列中的位置。
• 通过组合（例如通过叠加）所有元素的排列后超向量，形成序列的最终超向量表示。
• 排列操作确保了平移等变性：序列的平移会导致整体超向量产生相应且可预测的变换。
• 由于排列效应的局部一致性，具有相同元素但位置相近的序列能产生高度相似的超向量。
• 该方法本质上是无特征的，仅依赖于符号超向量和位置排列，避免使用子序列或基于模式的特征。

实验结果

研究问题

• RQ1 一种无特征的超向量编码方法是否能保持结构相似但彼此平移的序列之间的相似性？
• RQ2 在序列分类任务中，所提出的平移等变编码方法与基于特征的方法相比性能如何？
• RQ3 使用排列编码序列顺序在多大程度上能保持超向量空间中序列的结构相似性？
• RQ4 该方法在无需领域特定特征工程的情况下，是否在多样化的符号字符串数据集上依然有效？
• RQ5 所提出的编码方法是否可推广至稀疏二进制分布式表示（SBDR）以外的其他HDC/VSA模型？

主要发现

• 所提出的方法在无任何特征的情况下，其在符号字符串任务上的分类准确率与基于特征的基线方法相当或更优。
• 即使序列发生平移，具有相似局部模式的序列仍会产生高度相似的超向量，证实了该方法的相似性保持特性。
• 该方法展示了平移等变性：输入序列的平移会导致输出超向量产生可预测且一致的变换。
• 性能在多样化的符号数据集上保持稳健，表明其具有超越特定数据类型的泛化能力。
• 该方法保持了高效率和可扩展性，适用于神经形态计算和纳米级硬件平台的部署。