[论文解读] Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models

Beren Millidge, Tommaso Salvatori+3 more|arXiv (Cornell University)|Feb 9, 2022

Neural Networks and Applications被引用 7

一句话总结

本文提出了通用霍普菲尔德网络（UHN），这是一种统一单次关联记忆模型（如霍普菲尔德网络、稀疏分布式记忆、现代连续霍普菲尔德网络）的通用框架。通过将记忆检索分解为相似性计算、分离和投影三个操作，该框架表明：使用欧几里得或曼哈顿距离作为相似性函数，可显著提升检索的鲁棒性和记忆容量，相较于传统的点积相似性，其性能在实证评估中优于现有模型。

ABSTRACT

A large number of neural network models of associative memory have been proposed in the literature. These include the classical Hopfield networks (HNs), sparse distributed memories (SDMs), and more recently the modern continuous Hopfield networks (MCHNs), which possesses close links with self-attention in machine learning. In this paper, we propose a general framework for understanding the operation of such memory networks as a sequence of three operations: similarity, separation, and projection. We derive all these memory models as instances of our general framework with differing similarity and separation functions. We extend the mathematical framework of Krotov et al (2020) to express general associative memory models using neural network dynamics with only second-order interactions between neurons, and derive a general energy function that is a Lyapunov function of the dynamics. Finally, using our framework, we empirically investigate the capacity of using different similarity functions for these associative memory models, beyond the dot product similarity measure, and demonstrate empirically that Euclidean or Manhattan distance similarity metrics perform substantially better in practice on many tasks, enabling a more robust retrieval and higher memory capacity than existing models.

研究动机与目标

• 将各类关联记忆模型——经典霍普菲尔德网络、稀疏分布式记忆和现代连续霍普菲尔德网络——统一到一个理论框架中。
• 阐明单次关联记忆的核心计算操作：相似性、分离和投影。
• 在克罗托夫与霍普菲尔德的能量模型基础上，提出一个通用能量函数，该函数可作为局部神经动力学的李雅普诺夫函数。
• 通过实证研究，验证并展示非点积相似性函数（如欧几里得、曼哈顿距离）在关联记忆性能上的优越性。
• 探讨该框架对Transformer模型的启示，提出替代相似性函数可能增强自注意力机制。

提出的方法

• 提出一个通用关联记忆函数 UHN: R^I → R^O，由记忆矩阵 M（N×I）和投影矩阵 P（O×N）参数化，支持自联想与异联想记忆。
• 将 UHN 分解为三个顺序操作：(1) 查询与存储记忆之间的相似性计算，(2) 通过分离操作放大得分差异，(3) 利用投影矩阵生成输出。
• 推导出一个通用能量函数，该函数作为李雅普诺夫函数，确保在局部神经计算下动力学稳定，扩展了克罗托夫与霍普菲尔德的框架。
• 通过指定不同的相似性函数和分离函数，将所有现有模型（HN、SDM、MCHN、MCSDM）表示为 UHN 的特例。
• 在关联记忆任务上实现并评估 UHN，采用多种相似性函数（点积、欧几里得、曼哈顿距离），比较检索准确率与容量。
• 通过实证实验表明，欧几里得和曼哈顿相似性函数在鲁棒性和容量方面优于点积，尤其在噪声或受损查询下表现更优。

实验结果

研究问题

• RQ1 如何将多种关联记忆模型统一到一个能捕捉其核心计算结构的单一理论框架下？
• RQ2 分离函数在决定检索容量与鲁棒性方面起什么作用？其在经典与现代模型之间有何差异？
• RQ3 欧几里得或曼哈顿距离等替代相似性函数是否能在关联记忆性能上超越标准点积相似性？
• RQ4 关联记忆模型的理论容量是否依赖于相似性函数的选择？若是，其影响机制如何？
• RQ5 该框架的洞见能否通过用其他相似性度量替代点积注意力，来改进Transformer中注意力机制的设计？

主要发现

• 在存在噪声或受损查询的情况下，欧几里得和曼哈顿距离相似性函数在关联记忆检索中显著优于标准点积相似性。
• 使用非点积相似性函数可提升记忆容量与鲁棒性，使实际应用中检索更准确。
• 该框架预测：当使用强大的分离函数时，异联想与自联想记忆具有相同的检索容量，该结论已在附录中通过实证验证。
• 该框架推导出的通用能量函数作为李雅普诺夫函数，确保了在局部神经计算下动力学的稳定性，验证了模型的理论合理性。
• 初步实验表明，曼哈顿与欧几里得距离相似性在小规模Transformer中与点积注意力具有竞争力，表明其在注意力机制中具有广泛应用潜力。
• 该框架揭示了关联记忆与标准前馈网络之间存在一个连续谱，其差异取决于中间表征的稀疏性，具有生物学合理性启示。