[论文解读] Towards Optimal Sparse Inverse Covariance Selection through Non-Convex Optimization.

Sidhant Misra, Marc Vuffray+2 more|arXiv (Cornell University)|Mar 15, 2017

Statistical Methods and Inference被引用 1

一句话总结

本文提出了 DICE 和 SLICE 兩種演算法，用於稀疏逆協方差選擇，其樣本複雜度在常數因子內達到資訊理論下界。DICE 透過求解非凸優化問題實現最佳樣本複雜度，而 SLICE 則提供一種具實用性的混合整數二次規劃公式，理論保證相近，兩者皆僅依賴於下界中的參數：p（節點數）、d（最大度數）與 κ（最小邊強度）。

ABSTRACT

What is the optimal number of independent observations from which a sparse Gaussian Graphical Model can be correctly recovered? Information-theoretic arguments provide a lower bound on the minimum number of samples necessary to perfectly identify the support of any multivariate normal distribution as a function of model parameters. For a model defined on a sparse graph with $p$ nodes, a maximum degree $d$ and minimum normalized edge strength $\kappa$, this necessary number of samples scales at least as $d \log p/\kappa^2$. The sample complexity requirements of existing methods for perfect graph reconstruction exhibit dependency on additional parameters that do not enter in the lower bound. The question of whether the lower bound is tight and achievable by a polynomial time algorithm remains open. In this paper, we constructively answer this question and propose an algorithm, termed DICE, whose sample complexity matches the information-theoretic lower bound up to a universal constant factor. We also propose a related algorithm SLICE that has a slightly higher sample complexity, but can be implemented as a mixed integer quadratic program which makes it attractive in practice. Importantly, SLICE retains a critical advantage of DICE in that its sample complexity only depends on quantities present in the information theoretic lower bound. We anticipate that this result will stimulate future search of computationally efficient sample-optimal algorithms.

研究动机与目标

• 彙整資訊理論下界與現有稀疏逆協方差選擇演算法之間的樣本複雜度差距。
• 發展一種多項式時間演算法，其樣本複雜度在 universal 常數因子內匹配 d log p / κ² 的下界。
• 確保演算法的樣本複雜度僅依賴於資訊理論下界中出現的參數：p、d 和 κ。
• 提供一個實用的變體 SLICE，其在保持理論最優性之餘，可透過混合整數二次規劃實現。
• 激勵未來發展高維圖模型恢復的計算高效、樣本最優之演算法。

提出的方法

• DICE 將稀疏逆協方差選擇形式化為一項非凸優化問題，旨在以最少樣本需求恢復真實圖結構支援。
• 該演算法利用一項非凸懲罰函數，促進稀疏性之同時保留邊強度資訊。
• DICE 的優化架構被設計為與資訊理論下界對齊，確保樣本複雜度在常數因子內緊緻。
• SLICE 為 DICE 的放鬆形式，將問題重構為混合整數二次規劃，以利實際實現。
• 兩種演算法皆設計為其樣本複雜度僅依賴於 p（變數數量）、d（最大節點度數）與 κ（最小歸一化邊強度），與下界參數一致。
• 理論分析證明 DICE 的樣本複雜度在資訊理論下界的通用常數因子內。

实验结果

研究问题

• RQ1 稀疏高斯圖模型恢復的資訊理論下界 d log p / κ² 在樣本複雜度上是否緊緻且可由多項式時間演算法達成？
• RQ2 能否設計一項非凸優化方法，以達成此最佳樣本複雜度，且不依賴額外參數？
• RQ3 是否存在一種實用演算法，能維持樣本最優性，同時可透過混合整數規劃實現？
• RQ4 樣本複雜度是否僅依賴於資訊理論下界中出現的參數：p、d 和 κ？
• RQ5 在稀疏逆協方差選擇中，理論最優性與計算可行性之間的權衡為何？

主要发现

• DICE 的樣本複雜度在通用常數因子內匹配資訊理論下界 d log p / κ²。
• DICE 的樣本複雜度僅依賴於 p、d 和 κ — 這些參數亦定義了下界，使其理論上最優。
• SLICE 雖樣本複雜度略高，但可作為混合整數二次規劃實現，具備實用價值。
• DICE 與 SLICE 均保有其樣本複雜度僅依賴於資訊理論下界參數的關鍵性質。
• 研究結果顯示，稀疏逆協方差選擇中的樣本最優性可透過多項式時間演算法達成。
• 本研究對開放問題提供了建設性答案：下界是否緊緻且可透過高效計算達成。