[论文解读] Which graphical models are difficult to learn?

José Bento, Andrea Montanari|ArXiv.org|Oct 30, 2009

Bayesian Modeling and Causal Inference参考文献 12被引用 32

一句话总结

本文研究了为何某些图模型——特别是铁磁伊辛模型——在使用低复杂度算法时变得难以学习。研究证明，当相互作用强度θ较高、导致长程关联出现时，即使在理论上通过足够样本和计算量仍可解决结构学习问题，此类算法也会失效，尤其是在相变临界点附近或之后。

ABSTRACT

We consider the problem of learning the structure of Ising models (pairwise binary Markov random fields) from i.i.d. samples. While several methods have been proposed to accomplish this task, their relative merits and limitations remain somewhat obscure. By analyzing a number of concrete examples, we show that low-complexity algorithms systematically fail when the Markov random field develops long-range correlations. More precisely, this phenomenon appears to be related to the Ising model phase transition (although it does not coincide with it).

研究动机与目标

• 理解低复杂度算法在从独立同分布样本中学习伊辛模型结构时的局限性。
• 研究图模型中的长程关联与常见学习算法失效之间的关系。
• 表征学习算法的样本复杂度和计算成本随相互作用强度θ和图结构的变化。
• 表明算法失效与长程关联的出现密切相关，即使不完全等同于相变点。
• 在不同θ值和图度数下，为阈值化和基于Lasso的算法提供样本复杂度的理论界。

提出的方法

• 分析通过阈值化经验成对相关性来重构图的阈值算法（Thr(τ)）。
• 利用集中不等式和相关性衰减性质，推导出阈值化方法的样本复杂度理论界。
• 应用基于Lasso的方法进行结构学习，将问题建模为带有ℓ1正则化的高维回归。
• 使用局部弱收敛，通过无限规则树测度近似大随机图上的真实精度矩阵。
• 在树状结构伊辛模型上进行递归计算，以估计精度矩阵的关键分量和次梯度条件。
• 建立精度矩阵子矩阵最小特征值的下界，这对证明算法一致性至关重要。

实验结果

研究问题

• RQ1 在何种条件下，低复杂度算法无法在伊辛模型中恢复真实图结构？
• RQ2 算法失效与模型中长程关联的出现有何关系？
• RQ3 阈值化和基于Lasso的算法的失效是否与伊辛模型的相变相吻合？
• RQ4 样本复杂度对相互作用强度θ和最大度Δ的依赖关系如何？
• RQ5 能否为有界度数图上的阈值化和Lasso算法推导出样本复杂度的理论界？

主要发现

• 对于最大度Δ > 1的有界度数图，当θ < atanh(1/(2Δ))时，阈值算法成功，样本复杂度被限制在O(log p / (tanh θ - 1/(2Δ))²)。
• 当θ > K/Δ（K为某常数）且Δ > 3时，某些图上阈值算法会失效，需无穷样本复杂度。
• 当长程关联出现时，基于Lasso的算法同样会失效，尽管其比阈值化更复杂。
• 低复杂度算法的失效与长程关联的出现强烈相关，后者出现在相变附近但不完全等同于相变点。
• 理论分析表明，在弱收敛至树测度下，精度矩阵子矩阵的最小特征值保持远离零，从而支持一致性证明。
• 局部弱收敛使得在大随机图上通过将其简化为规则树上的递归计算，可精确计算关键矩阵分量。