[论文解读] Simultaneous Inference for Pairwise Graphical Models with Generalized Score Matching

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|May 15, 2019

Statistical Methods and Inference参考文献 100被引用 16

一句话总结

本文提出了一种广义得分匹配估计器，用于成对图模型中的同时统计推断，即使归一化常数不可计算，也能实现有效的置信区间和假设检验。该方法在温和的正则性条件下实现了 √n-一致性与渐近正态性，将推断范围从高斯图模型扩展至伊辛模型和截断高斯模型。

ABSTRACT

Probabilistic graphical models provide a flexible yet parsimonious framework for modeling dependencies among nodes in networks. There is a vast literature on parameter estimation and consistent model selection for graphical models. However, in many of the applications, scientists are also interested in quantifying the uncertainty associated with the estimated parameters and selected models, which current literature has not addressed thoroughly. In this paper, we propose a novel estimator for statistical inference on edge parameters in pairwise graphical models based on generalized Hyvärinen scoring rule. Hyvärinen scoring rule is especially useful in cases where the normalizing constant cannot be obtained efficiently in a closed form, which is a common problem for graphical models, including Ising models and truncated Gaussian graphical models. Our estimator allows us to perform statistical inference for general graphical models whereas the existing works mostly focus on statistical inference for Gaussian graphical models where finding normalizing constant is computationally tractable. Under mild conditions that are typically assumed in the literature for consistent estimation, we prove that our proposed estimator is $\sqrt{n}$-consistent and asymptotically normal, which allows us to construct confidence intervals and build hypothesis tests for edge parameters. Moreover, we show how our proposed method can be applied to test hypotheses that involve a large number of model parameters simultaneously. We illustrate validity of our estimator through extensive simulation studies on a diverse collection of data-generating processes.

研究动机与目标

• 解决高维图模型中在非高斯假设下的严格不确定性量化缺失问题。
• 为归一化常数不可计算的成对图模型中的边参数开发统计推断框架。
• 确保即使模型选择错误，推断依然有效，尤其是在超高维设置下。
• 将现有方法——此前仅限于高斯图模型——扩展至一般指数族模型。
• 提供对模型选择错误具有鲁棒性的统一有效置信区间和假设检验。

提出的方法

• 该方法采用广义Hyvärinen评分规则，估计成对图模型中的参数，而无需显式计算归一化常数。
• 基于初始广义得分匹配估计器构建一个正则化线性估计器，确保 √n-一致性与渐近正态性。
• 该方法利用Bahadur型表示，建立对模型选择错误的鲁棒性，并在一般数据生成分布下保持有效性。
• 通过浓度不等式和鞅论证推导理论保证，在高维渐近下获得估计误差与检验统计量的界。
• 通过乘子自展程序实现同时推断，以考虑多个边参数之间的依赖性。
• 该方法应用于涉及大量参数的假设检验，如全局检验或邻域特定检验，采用野生自展近似。

实验结果

研究问题

• RQ1 当归一化常数不可计算时（如在伊辛模型或截断高斯模型中），我们能否对成对图模型中的边参数进行有效的统计推断？
• RQ2 所提出的广义得分匹配估计器在温和正则性条件下是否实现 √n-一致性与渐近正态性？
• RQ3 该方法能否提供对模型选择错误具有鲁棒性的统一有效置信区间和假设检验？
• RQ4 我们如何在高维图模型中对大量边参数进行同时推断？
• RQ5 所提出的方法是否对模型选择错误具有鲁棒性，并适用于非高斯图模型？

主要发现

• 所提出的广义得分匹配估计器在温和正则性条件下实现 √n-一致性与渐近正态性，从而支持对边参数的有效推断。
• 该方法在超高维设置下实现了对模型选择错误具有鲁棒性的统一有效置信区间和假设检验。
• 理论分析证实，即使真实图未被完全恢复，估计器仍保持渐近正态性。
• 在高维渐近下，同时推断的乘子自展程序被证明是有效的，收敛速率通过浓度不等式建立。
• 模拟研究显示，该方法在多种数据生成过程中均表现有效，包括伊辛模型和截断高斯模型。
• 该方法在涉及大量参数的多重检验场景中成功控制了族错误率。