[论文解读] Spin glass theory and its new challenge: structured disorder

Marc Mézard|arXiv (Cornell University)|Sep 13, 2023

Theoretical and Computational PhysicsPhysics and Astronomy参考文献 50被引用 3

一句话总结

本文通过将传统统计物理框架扩展至建模具有长程相关性、层级结构和有效维度的真实世界数据，为自旋玻璃理论开辟了一个新方向——结构化无序。该文主张将深度学习推理问题视为无序系统，并提出了一套可通过解析方法处理的、具有结构化相关无序特性的理论基础，用于分析深度神经网络。

ABSTRACT

This paper first describes, from a high level viewpoint, the main challenges that had to be solved in order to develop a theory of spin glasses in the last fifty years. It then explains how important inference problems, notably those occurring in machine learning, can be formulated as problems in statistical physics of disordered systems. However, the main questions that we face in the analysis of deep networks require to develop a new chapter of spin glass theory, which will address the challenge of structured data.

研究动机与目标

• 解决传统自旋玻璃理论在建模具有复杂结构的真实世界数据时的局限性，该理论假设无序项为独立同分布（i.i.d.）。
• 将机器学习与深度神经网络推理问题重新表述为无序系统统计物理问题。
• 构建一种新的自旋玻璃理论框架，整合数据的结构化特征，如长程相关性、组合层级结构和有效维度。
• 通过识别最小且具有统计意义的序参量，实现对深度网络中高维表征的解析控制。
• 通过引入真实数据集（如图像、文本和蛋白质）中常见的结构要素，弥合自旋玻璃理论与实际深度学习之间的鸿沟。

提出的方法

• 将机器学习中的推理问题建模为涉及具有淬灭无序的无序系统的统计物理问题。
• 提出“结构化无序”概念，将自旋玻璃模型从独立同分布耦合推广至包含长程相关性和层级特征的更广范畴。
• 将“有效维度”定义为量化高维空间中数据流形复杂性的关键参数。
• 利用分层网络映射建模组合与层级数据结构，其中低层检测局部特征，高层整合为全局表征。
• 运用平均场近似与重整化群思想分析具有结构化无序的系统，扩展帕里斯i的SK模型解法。
• 探索具有层级与组合特性的简单非线性系综，以建模深度学习中的真实数据分布。

Figure 1 : Top: typical structure of a feedforward neurla network. The input (image of a cat) is presented on the left layer. Data is processed, layer after layer, until the output is given in the right. Bottom: Each layer is built from artificial neurons. They receive inputs from the neurons of the

实验结果

研究问题

• RQ1 如何将自旋玻璃理论扩展至描述具有结构化、相关性无序的系统，而非独立同分布耦合？
• RQ2 数据中的长程相关性在塑造深度神经网络的损失曲面与泛化性能方面起到何种作用？
• RQ3 如何在统计物理框架中捕捉数据中的层级与组合结构（如图像或文本中的结构）？
• RQ4 在高维推理问题中，'有效维度'在表征数据分布复杂性方面具有何种意义？
• RQ5 能否通过一组最小序参量描述在结构化数据上训练的深度网络的集体行为，类似于自旋玻璃中的序参量？

主要发现

• 基于独立同分布无序的传统自旋玻璃理论，无法捕捉真实世界数据的关键结构特征，如长程相关性与层级组织。
• Transformer中的注意力机制隐式捕捉了长程依赖，与结构化无序系统中长程相关性的角色相呼应。
• 图像、文本与蛋白质中显现的组合与层级结构，可被建模为深度网络中的分层表征，类似于视觉皮层中的特征层级。
• 具有层级与组合特性的简单非线性系综正开始被系统性地解析探索，为构建结构化数据的可控模型提供了路径。
• “有效维度”作为表征高维推理中数据流形统计复杂性的重要参数浮现出来。
• 需要开启自旋玻璃理论的新篇章——聚焦于结构化无序——以提供深度学习的理论基础，确保可解释性、可控性与最坏情况分析。