[论文解读] Zipf's law and criticality in multivariate data without fine-tuning

David Schwab, Ilya Nemenman+1 more|arXiv (Cornell University)|Oct 1, 2013

Diffusion and Search Dynamics被引用 3

一句话总结

该论文提出，多变量生物数据中的齐夫定律（Zipf's law）是由于未观测到的隐变量（如神经刺激或免疫系统输入）而普遍出现的，无需对参数进行微调。通过在统计模型中对这些潜在变量进行平均，所得的概率分布自然表现出幂律排名-频率缩放，指数≈1，表明在热力学极限下系统呈现临界性，即使系统本身不具备内在临界性或微调参数。

ABSTRACT

The joint probability distribution of many degrees of freedom in biological systems, such as firing patterns in neural networks or antibody sequence composition in zebrafish, often follow Zipf's law, where a power law is observed on a rank-frequency plot. This behavior has recently been shown to imply that these systems reside near to a unique critical point where the extensive parts of the entropy and energy are exactly equal. Here we show analytically, and via numerical simulations, that Zipf-like probability distributions arise naturally if there is an unobserved variable (or variables) that affects the system, e. g. for neural networks an input stimulus that causes individual neurons in the network to fire at time-varying rates. In statistics and machine learning, these models are called latent-variable or mixture models. Our model shows that no fine-tuning is required, i.e. Zipf's law arises generically without tuning parameters to a point, and gives insight into the ubiquity of Zipf's law in a wide range of systems.

研究动机与目标

• 解释神经活动和免疫 repertoire 等生物系统中齐夫定律普遍存在的原因，而无需进行微调。
• 研究未观测到的、随时间变化的外部变量（如刺激或环境输入）是否能在多变量数据中生成幂律统计特性。
• 证明当对隐变量进行边缘化时，临界性（定义为广延能量与熵相等）在热力学极限下自然出现。
• 表明该机制在不同类型系统中均具有鲁棒性，包括独立自旋、相互作用自旋系统以及真实神经数据。
• 挑战齐夫定律暗示系统内在临界性的假设，转而提出其为潜在变量平均的结果。

提出的方法

• 将多变量状态的联合概率形式化为对隐变量 $ h $ 的混合模型，其中 $ P(\boldsymbol{\sigma}|h) $ 在各分量间条件独立。
• 推导边缘分布 $ P(\boldsymbol{\sigma}) = \int dh\, q(h) P(\boldsymbol{\sigma}|h) $，表明所得分布的排名-频率图中呈现幂律衰减。
• 使用拉普拉斯方法近似热力学极限（$ N \to \infty $）下的积分，表明能量 $ E(\boldsymbol{\sigma}) $ 与熵 $ S(E) $ 在 $ N $ 的主导阶上完全相等，暗示临界性。
• 在泊松脉冲发放模型中引入不应期约束以模拟神经不应期，同时将与刺激相关的发放率作为隐变量。
• 利用苍蝇运动敏感神经元的真实数据验证模型，将经验的排序脉冲模式与相同刺激下的模拟结果进行比较。
• 将模型推广至包含淬火随机相互作用（$ J_{ij} $）和场（$ h_i $）的情形，表明即使在复杂相互作用下，齐夫定律依然保持。

实验结果

研究问题

• RQ1 齐夫定律是否能在不微调系统参数的情况下，出现在多变量生物数据中？
• RQ2 未观测到的、随时间变化的外部变量（如刺激）是否能自然导致观测数据中出现幂律统计？
• RQ3 生物系统中观测到的幂律行为是内在临界性的标志，还是对隐变量进行边缘化后的结果？
• RQ4 系统规模 $ N $ 以及系统对隐变量波动的敏感性如何影响齐夫定律的出现？
• RQ5 一个简单的潜在变量模型能否再现真实神经数据的排序频率统计特性，包括不应期等非平凡相关性？

主要发现

• 在热力学极限（$ N \to \infty $）下，通过对隐变量 $ h $ 进行平均，齐夫定律（指数 $ \alpha \approx 1 $）普遍出现，无需微调。
• 系统能量 $ E(\boldsymbol{\sigma}) $ 与熵 $ S(E) $ 在 $ N $ 的主导阶上完全相等，表明在热力学极限下系统呈现临界性。
• 对具有隐变量 $ h $ 的独立自旋进行数值模拟，显示 $ P(\boldsymbol{\sigma}) $ 的排名-频率图呈现斜率 $ \approx -1 $ 的幂律，证实了齐夫定律。
• 即使在复杂相互作用（如淬火 $ J_{ij} $ 和 $ h_i $）下，模型仍保持齐夫型统计特性，表明其在均场假设之外也具有鲁棒性。
• 该模型成功再现了真实苍蝇 H1 神经元的排序脉冲模式，与经验数据匹配良好，表明不应期不会破坏幂律行为。
• 齐夫定律的出现依赖于系统对 $ h $ 的分布具有足够的敏感性；若对 $ q(h) $ 的适应性较差，则需极大的 $ N $ 才能观察到该效应。