[论文解读] On the Computational Complexity of High-Dimensional Bayesian Variable Selection

Yun Yang, Martin J. Wainwright+1 more|arXiv (Cornell University)|May 29, 2015

Markov Chains and Monte Carlo Methods参考文献 35被引用 9

一句话总结

本文確立了在高維線性回歸中貝葉斯變量選擇實現後驗一致性與馬爾可夫鏈蒙特卡洛（MCMC）算法快速混合的條件。透過引入截斷稀疏性先驗並利用典型路徑分析，作者證明混合時間在變量數量上呈線性增長（對數因子內），確保了高維設定下的計算效率。

ABSTRACT

We study the computational complexity of Markov chain Monte Carlo (MCMC) methods for high-dimensional Bayesian linear regression under sparsity constraints. We first show that a Bayesian approach can achieve variable-selection consistency under relatively mild conditions on the design matrix. We then demonstrate that the statistical criterion of posterior concentration need not imply the computational desideratum of rapid mixing of the MCMC algorithm. By introducing a truncated sparsity prior for variable selection, we provide a set of conditions that guarantee both variable-selection consistency and rapid mixing of a particular Metropolis-Hastings algorithm. The mixing time is linear in the number of covariates up to a logarithmic factor. Our proof controls the spectral gap of the Markov chain by constructing a canonical path ensemble that is inspired by the steps taken by greedy algorithms for variable selection.

研究动机与目标

• 探討高維貝葉斯變量選擇中MCMC算法的計算複雜度，特別是在p ≫ n的情境下。
• 彌補統計一致性（後驗集中）與計算效率（快速混合）之間的差距。
• 識別在何種條件下，變量選擇一致性與Metropolis-Hastings算法的快速混合可同時達成。
• 提供混合時間的理論保證，其在p上為多項式時間，確保在高維設定下的可擴展性。

提出的方法

• 作者採用具有Zellner g-先驗和截斷稀疏性先驗的層次貝葉斯模型，以限制模型空間並確保計算可處理性。
• 他們分析在模型空間上的Metropolis-Hastings隨機漫步，使用類似於shotgun stochastic search的局部移動，以實現高效探索。
• 構建典型路徑集合以界定馬爾可夫鏈的譜間隔，靈感來自貪心變量選擇演算法。
• 證明依賴於透過路徑構造控制譜間隔，進而確保在特定設計矩陣與參數條件下的快速混合。
• 關鍵技術工具包括β_min條件、設計矩陣一致性的假設（ν），以及在高維極限定義下的集中不等式。
• 分析結合後驗概率比與殘差平方和的界，以推導混合時間保證。

实验结果

研究问题

• RQ1 在何種條件下，貝葉斯變量選擇程序可在高維線性回歸中實現後驗一致性？
• RQ2 後驗集中是否意味著相關MCMC算法的快速混合？
• RQ3 在高維稀疏性下，用於模型空間探索的Metropolis-Hastings算法能否在p的多項式時間內混合？
• RQ4 為確保統計與計算效率，設計矩陣與先驗的哪些結構假設是必要的？
• RQ5 如何利用受貪心演算法啟發的典型路徑構造來界定MCMC鏈的譜間隔？

主要发现

• 在設計矩陣的溫和條件下，包括β_min條件與有界一致ν，可實現變量選擇的後驗一致性。
• 當譜間隔遠離零時，Metropolis-Hastings算法的快速混合可得到保證，此結果透過典型路徑構造確立。
• 混合時間在變量數量p上呈線性增長（對數因子內），意味著多項式時間收斂。
• 快速混合的關鍵條件是β_min條件中的係數C_β滿足ν²C_β ≥ 64(α + κ + 8(L + L̃) + 2)，確保真實模型與偽模型之間足夠分離。
• 在事件An ∩ Bn ∩ Cn ∩ Dn下，後驗奇異比π(γ|Y)/π(γ*|Y)有上界p^{-(κ+α)ℓ - 2}，其隨偽變量數ℓ指數衰減。
• 分析確認MCMC算法能有效探索模型空間，即使在高維設定下亦可避免指數級混合時間。