[论文解读] Sparse estimation in Ising Model via penalized Monte Carlo methods

Błażej Miasojedow, Wojciech Rejchel|arXiv (Cornell University)|Dec 22, 2016

Markov Chains and Monte Carlo Methods参考文献 25被引用 3

一句话总结

该论文提出了一种Lasso惩罚的蒙特卡洛最大似然方法，用于高维伊辛模型中的稀疏结构学习，通过基于重要性采样的MCMC近似解决难以计算的归一化常数问题。在温和的正则性条件下，该方法以高概率一致地识别出真实的图结构，即使在 $ d \gg n $ 的高维设置下也成立，理论保证与数值验证均支持此结论。

ABSTRACT

We consider a problem of model selection in high-dimensional binary Markov random fields. The usefulness of the Ising model in studying systems of complex interactions has been confirmed in many papers. The main drawback of this model is the intractable norming constant that makes estimation of parameters very challenging. In the paper we propose a Lasso penalized version of the Monte Carlo maximum likelihood method. We prove that our algorithm, under mild regularity conditions, recognizes the true dependence structure of the graph with high probability. The efficiency of the proposed method is also investigated via simulation studies.

研究动机与目标

• 解决变量数 $ d $ 与样本量 $ n $ 相当或超过的高维二值马尔可夫随机场中的模型选择问题。
• 克服伊辛模型中难以计算的归一化常数，该问题阻碍了标准似然估计方法的应用。
• 开发一种计算上可行的方法，结合Lasso惩罚与蒙特卡洛近似，实现稀疏图模型估计。
• 在温和正则性条件下，建立该方法在恢复真实图结构方面的理论一致性。

提出的方法

• 在对数似然函数上施加Lasso惩罚，以在估计的伊辛模型参数中引入稀疏性。
• 在蒙特卡洛马尔可夫链（MCMC）框架内，使用重要性采样来近似难以计算的归一化常数。
• 利用MCMC样本中充分统计量的加权经验均值来估计对数似然函数的梯度与海塞矩阵。
• 应用浓度不等式来界定MCMC近似的估计误差，确保在温和混合条件下收敛到真实似然函数。
• 采用两阶段程序：首先估计惩罚似然的MCMC近似，然后基于Lasso惩罚应用阈值规则以识别边集。
• 利用MCMC近似与真实得分函数之间差值的 $ l_\infty $-范数的理论界，控制估计误差。

实验结果

研究问题

• RQ1 惩罚的蒙特卡洛最大似然方法是否能在高维伊辛模型中一致地恢复真实的图结构？
• RQ2 在MCMC估计中使用重要性采样是否能有效处理难以计算的归一化常数，而无需依赖伪似然近似？
• RQ3 在何种条件下，Lasso惩罚的MCMC估计器在高维设置下实现模型选择一致性？
• RQ4 与现有方法（如伪似然或高斯图模型的适应方法）相比，该方法在图结构恢复准确性方面表现如何？

主要发现

• 所提方法实现了模型选择一致性：在温和正则性条件下，以高概率正确识别出伊辛图中的真实边集。
• 理论分析表明，若MCMC样本量 $ m $ 足够大，MCMC对得分函数的近似以高概率收敛到真实得分函数的 $ l_\infty $-范数。
• 该方法对真实图结构的复杂性具有鲁棒性，因其不依赖于在复杂图上失效的伪似然假设。
• Lasso惩罚确保了稀疏性，且估计器实现了精确支持恢复：真实边以高概率被检测到，而非边则被正确排除。
• 数值研究证实，该方法在各种高维场景下均能高效且一致地恢复真实图结构。