[论文解读] Optimality of Graphlet Screening in High Dimensional Variable Selection

Jiashun Jin, Cun‐Hui Zhang+1 more|arXiv (Cornell University)|Apr 29, 2012

Sparse and Compressive Sensing Techniques参考文献 46被引用 42

一句话总结

本文提出图块筛选（Graphlet Screening, GS），一种在罕见且微弱信号模型下进行高维变量选择的两步法‘筛选-清理’（Screen and Clean）方法。通过利用强依赖图（Graph of Strong Dependence, GOSD）识别稀疏且不连通的图块（graphlets），GS 在汉明距离下实现了最优的最小最大收敛速率，优于忽略局部图结构的标准 L0/L1 惩罚方法。

ABSTRACT

Consider a linear regression model where the design matrix X has n rows and p columns. We assume (a) p is much large than n, (b) the coefficient vector beta is sparse in the sense that only a small fraction of its coordinates is nonzero, and (c) the Gram matrix G = X'X is sparse in the sense that each row has relatively few large coordinates (diagonals of G are normalized to 1). The sparsity in G naturally induces the sparsity of the so-called graph of strong dependence (GOSD). We find an interesting interplay between the signal sparsity and the graph sparsity, which ensures that in a broad context, the set of true signals decompose into many different small-size components of GOSD, where different components are disconnected. We propose Graphlet Screening (GS) as a new approach to variable selection, which is a two-stage Screen and Clean method. The key methodological innovation of GS is to use GOSD to guide both the screening and cleaning. Compared to m-variate brute-forth screening that has a computational cost of p^m, the GS only has a computational cost of p (up to some multi-log(p) factors) in screening. We measure the performance of any variable selection procedure by the minimax Hamming distance. We show that in a very broad class of situations, GS achieves the optimal rate of convergence in terms of the Hamming distance. Somewhat surprisingly, the well-known procedures subset selection and the lasso are rate non-optimal, even in very simple settings and even when their tuning parameters are ideally set.

研究动机与目标

• 开发一种在理论上正确且计算高效的变量选择方法，适用于罕见且微弱信号情形。
• 建立基于汉明距离准则的变量选择理论最优性，该准则相较于精确支持恢复更适用于弱信号情形。
• 证明图块筛选（Graphlet Screening）在最小最大汉明距离意义下达到最优收敛速率。
• 表明标准 L0/L1 惩罚方法即使在理想调参下也无法达到该最优速率，原因在于忽略了局部图结构。

提出的方法

• 提出两阶段‘筛选-清理’程序：首先使用序列卡方检验筛选强依赖图（GOSD）中的子图。
• 利用从稀疏格拉姆矩阵 G = X'X 导出的 GOSD，指导筛选与清理两个阶段。
• 在清理阶段应用惩罚似然估计（MLE）以优化每个识别出的图块内的估计值。
• 采用估计系数向量与真实系数向量的符号向量之间的汉明距离损失函数来衡量性能。
• 该方法利用真实信号支持在 GOSD 中可分解为小而互不连通的图块这一特性，实现局部推断。
• 理论分析基于相图分析与渐近最小最大性，关键结果通过 Mills 比率与集中不等式推导得出。

实验结果

研究问题

• RQ1 在罕见且微弱信号模型下，是否存在一种变量选择方法能够实现最优的最小最大汉明距离收敛速率？
• RQ2 为何标准 L0/L1 惩罚方法即使在理想调参下仍无法达到最优速率？
• RQ3 设计矩阵的局部图结构（通过 GOSD 表征）如何促进更优的变量选择？
• RQ4 在罕见且微弱信号情形下，变量选择的最优相图是什么？是否可实现？
• RQ5 一种利用图结构的两步‘筛选-清理’程序能否优于全局惩罚方法？

主要发现

• 图块筛选（Graphlet Screening）在汉明距离下实现了最优的最小最大收敛速率，确立了在罕见且微弱信号情形下的理论最优性。
• 该方法优于标准 L0/L1 惩罚技术，后者因未利用局部图结构而无法达到最优速率，即使在理想调参下亦然。
• 研究表明，汉明距离损失比精确支持恢复更适合作为弱信号情形下的评价准则，因为在该情形下精确恢复不可能实现。
• 真实信号支持在 GOSD 中自然分解为小而互不连通的图块（graphlets），该方法有效利用了这一结构以实现高效且精确的变量选择。
• 理论分析证实，图块筛选达到了变量选择的最优相图，这是该情境下的关键最优性准则。
• 该方法已实现在 R 包 ScreenClean 与 MATLAB 中，其理论保证通过在高维渐近框架下的严格渐近分析得到支持。