[论文解读] On Learning Discrete Graphical Models Using Greedy Methods

Ali Jalali, Christopher C. Johnson+1 more|arXiv (Cornell University)|Jul 16, 2011

Statistical Methods and Inference参考文献 29被引用 61

一句话总结

本文提出一种前向-後向貪心演算法，用於在高維設定下學習離散成對圖模型的結構。在較弱的限制強凸性條件下建立稀疏一致性，並顯示樣本複雜度的規模為 $\Omega(d^2 \log p)$，優於 $\ell_1$-正則化方法的 $\Omega(d^3 \log p)$，並在伊辛模型上進行了實證驗證。

ABSTRACT

In this paper, we address the problem of learning the structure of a pairwise graphical model from samples in a high-dimensional setting. Our first main result studies the sparsistency, or consistency in sparsity pattern recovery, properties of a forward-backward greedy algorithm as applied to general statistical models. As a special case, we then apply this algorithm to learn the structure of a discrete graphical model via neighborhood estimation. As a corollary of our general result, we derive sufficient conditions on the number of samples n, the maximum node-degree d and the problem size p, as well as other conditions on the model parameters, so that the algorithm recovers all the edges with high probability. Our result guarantees graph selection for samples scaling as n = Omega(d^2 log(p)), in contrast to existing convex-optimization based algorithms that require a sample complexity of Ω(d^3 log(p)). Further, the greedy algorithm only requires a restricted strong convexity condition which is typically milder than irrepresentability assumptions. We corroborate these results using numerical simulations at the end.

研究动机与目标

• 解決高維結構學習問題，其中 $p$（變數數量）相對於 $n$（樣本數量）較大。
• 開發一種計算效率高的方法，並維持與基於凸優化的方法相當的強統計保證。
• 提供貪心演算法能一致恢復真實圖結構的理論條件，特別著重於稀疏一致性。
• 示範貪心方法在一致圖選擇方面所需的樣本數少於現有的 $\ell_1$-正則化方法。

提出的方法

• 將前向-後向貪心演算法適用于一般統計模型，將先前針對線性模型的工作推廣至非線性、離散圖模型。
• 使用鄰域估計：針對每個節點，透過使用多類邏輯回歸模型進行貪心選擇條件依賴關係，以學習其馬爾可夫毯。
• 應用限制強凸性（RSC）條件作為關鍵假設，該條件弱於 $\ell_1$-正則化方法所需的不可表示性條件。
• 引入基於閾值 $\epsilon_{\mathcal{S}} = \frac{c \log(np)}{n}$ 的停止條件，確保收斂且避免過度擬合。
• 使用閾值 $\nu = 0.5$ 的後向步驟以移除偽造邊緣，提升準確性。
• 對所有節點應用並集界，以確保以高機率恢復全局圖結構。

实验结果

研究问题

• RQ1 貪心演算法是否能在弱於 $\ell_1$-正則化方法所需假設的條件下，於高維離散圖模型結構學習中實現稀疏一致性？
• RQ2 貪心演算法要以高機率恢復真實圖結構，所需的最小樣本數 $n$ 是多少？
• RQ3 貪心方法的樣本複雜度與 $\ell_1$-正則化邏輯回歸相比，其對最大節點度數 $d$ 和問題規模 $p$ 的依存關係為何？
• RQ4 貪心演算法是否能在限制強凸性條件下維持強統計一致性，該條件弱於不可表示性條件？
• RQ5 貪心方法是否可透過分組更新策略推廣至具有多值離散變數的一般成對圖模型？

主要发现

• 貪心演算法在限制強凸性（RSC）條件下實現稀疏一致性，該條件弱於 $\ell_1$-正則化方法所需的不可表示性條件。
• 一致圖恢復所需的樣本數規模為 $\Omega(d^2 \log p)$，優於 $\ell_1$-正則化方法的 $\Omega(d^3 \log p)$。
• 在具有鏈狀、網格和星型拓撲的伊辛模型上的數值模擬結果顯示，貪心方法在實現完整結構恢復時所需的樣本數少於 $\ell_1$-邏輯回歸。
• 精確圖恢復的成功機率隨控制參數 $\beta(n,p,d) = n / (20d\log p)$ 增加而提升，且貪心方法在所有測試圖類型與規模下均優於基於 $\ell_1$ 的方法。
• 理論結果可推廣至具有取值於 $\{1, \ldots, m\}$ 的離散變數的一般成對圖模型，使用分組式前向-後向貪心更新策略。
• 分析顯示，在給定的樣本數規模下，RSC 和 RSS 條件以高機率成立，確保所有節點的鄰域估計一致。