[论文解读] The Stochastic complexity of spin models: How simple are simple spin models?

Alberto Beretta, Claudia Battistin+3 more|arXiv (Cornell University)|Feb 24, 2017

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文利用信息论原理研究了具有任意阶相互作用的自旋模型的随机复杂度。研究发现，简单性并非源于低阶相互作用，而是源于非重叠变量组之间的局部统计依赖性——这种模型是简单的，而全连接的成对模型则因广泛的相互作用结构而具有高度复杂性。

ABSTRACT

Simple models, in information theoretic terms, are those with a small stochastic complexity. We study the stochastic complexity of spin models with interactions of arbitrary order. Invariance with respect to bijections within the space of operators allows us to classify models in complexity classes. This invariance also shows that simplicity is not related to the order of the interactions, but rather to their mutual arrangement. Models where statistical dependencies are localized on non-overlapping groups of few variables (and that afford predictions on independencies that are easy to falsify) are simple. On the contrary, fully connected pairwise models, which are often used in statistical learning, are highly complex because of their extended set of interactions.

研究动机与目标

• 理解具有任意相互作用阶数的自旋模型的随机复杂度。
• 基于算子空间中双射下的不变性，对自旋模型进行复杂度分类。
• 确定低阶相互作用是否在本质上意味着自旋系统中的简单性。
• 对比具有局部依赖性的模型与全连接成对模型的复杂度。

提出的方法

• 应用信息论随机复杂度方法，量化自旋系统中的模型复杂度。
• 利用算子空间中双射下的不变性，定义模型的等价类。
• 根据相互作用的结构排列对模型进行分类，而非依据其阶数。
• 分析相互作用模式如何影响统计独立性假设的可证伪性。
• 对比非重叠组之间的局部相互作用与全连接成对模型。
• 采用形式不变性原理，表明复杂度取决于相互作用的排列方式，而非相互作用的阶数。

实验结果

研究问题

• RQ1 什么决定了具有任意阶相互作用的自旋模型的随机复杂度？
• RQ2 算子空间中双射下的不变性如何影响模型分类？
• RQ3 为何全连接成对模型尽管形式简单，仍被认为具有高度复杂性？
• RQ4 即使具有更高阶相互作用，具有局部依赖性的模型是否仍可视为更简单？
• RQ5 统计依赖性的排列在模型简单性中起什么作用？

主要发现

• 在少数变量的非重叠组上具有统计依赖性的模型表现出较低的随机复杂度。
• 自旋模型的简单性并非由相互作用阶数决定，而是由其结构排列决定。
• 全连接成对模型因具有广泛且交织的相互作用集合而具有高度复杂性。
• 具有局部依赖性的模型所生成的独立性预测易于被证伪，从而增强了其简单性。
• 算子空间中双射下的不变性表明，复杂度在重标记下保持不变，强调了结构性而非基于阶数的区分。
• 本研究确立了相互作用排列而非相互作用阶数，是随机复杂度的关键决定因素。