[论文解读] The dimensionality of the Hopfield model

Cristopher Erazo, Santiago Acevedo+1 more|arXiv (Cornell University)|Jan 24, 2026

Neural Networks and Applications被引用 0

一句话总结

本论文将 Binary Intrinsic Dimension (BID) 应用于 Hopfield 网络，以检测相变并将几何维度与自旋重叠联系起来，显示检索/顺磁相中 BID 为线性，在自旋玻璃相中为非线性（低阶）BID。

ABSTRACT

We use the Binary Intrinsic Dimension (BID), a geometrical measure designed for binary data, to analyze the Hopfield model, a paradigmatic spin system from statistical mechanics, machine learning and neuroscience. The BID allows us to characterize the phases and transitions of this system, and moreover it is robust against finite-size effects that interfere with the correct numerical estimation of the spin-glass order parameter ($q$). We observe that the BID scales linearly with system size in the retrieval and paramagnetic phases, where the correlations between spins are small, and exhibits sublinear scaling in the whole spin-glass phase, highlighting its correlated structure. Furthermore, we establish a direct relationship between the BID and the overlap distribution, unveiling a novel connection between the geometry of the state-space and standard spin order parameters.

研究动机与目标

• 为二元自旋系统及其相动机提供鲁棒、无监督的维度度量。
• 将 BID 应用于 Hopfield 模型，以在不依赖传统有序参量的情况下识别相变。
• 建立 BID 与自旋玻璃重叠分布之间的联系，揭示态空间几何。
• 评估有限尺寸对传统有序参量的影响，并展示 BID 在不同系统尺寸下的鲁棒性。

提出的方法

• 通过拟合经验 Hamming 距离分布 P(r|θ) 来定义二元数据的 Binary Intrinsic Dimension (BID)（P(r|θ) 具有 dθ(r)=θ0+rθ1）。
• 将 BID 定义为本地拟合得到的 BID = θ0，与 x = (1/N)s·s′ 和 r = N(1−x)/2 相关。
• 研究 N 个自旋存储 p 个模式的 Hopfield 网络（负载 α=p/N），在异步更新和玻尔兹曼动力学下。
• 从有限样本估计 q 和 mν，与热力学预测比较并分析有限尺寸效应。
• 在温度 T 和负载 α 下分析 BID 的变化，使用 N≈1024、N_S≈2500，以及多次实现以绘制相行为图。
• 使用 P(r|θ) 的高斯近似将 BID 与重叠统计联系起来并讨论与系统规模的标度关系。

(a) Dataset

实验结果

研究问题

• RQ1 BID 能否作为 Hopfield 模型相的无监督有序参量？
• RQ2 在检索、顺磁和自旋玻璃相中，BID 如何随系统尺寸标度？
• RQ3 BID 与重叠分布 q 和 mν 之间的关系是什么？
• RQ4 有限尺寸效应如何影响传统的有序参量与有限 Hopfield 网络中的 BID？

主要发现

• BID 跟踪 Hopfield 模型的相变，与检索、自旋玻璃和顺磁区间一致。
• 在检索和顺磁相中，BID 线性随 N 标度，在自旋玻璃相中呈现亚线性标度。
• BID 克服了在 Z2 对称性下影响 q 的有限尺寸问题，提供跨尺寸的稳定估计。
• 建立了 BID 与重叠分布之间的直接关系，包括将 BID/N、Std[x] 与 E[x]（≈ q）联系起来的高斯近似。
• 有限尺寸分析表明 BID 非常鲁棒，而传统的 q 估计在临界性附近出现双峰与收敛缓慢的问题。
• 亚线性 BID 标度与自旋玻璃相中相关性增加及态空间几何的非平凡性相关。

(b) Hamming Distances