[论文解读] On the consistency theory of high dimensional variable screening

Xiangyu Wang, Chenlei Leng+1 more|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用 4

一句话总结

本文通过引入受限对角占优（RDD）条件作为高维变量筛选强一致性的确 necessary and sufficient 条件，建立了高维变量筛选的理论基础。证明了当样本量满足 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 时，SIS 和 HOLP 等筛选方法以高概率实现一致性，提供了一个统一框架，克服了现有方法在随机设计下的局限性。

ABSTRACT

Variable screening is a fast dimension reduction technique for assisting high dimensional feature selection. As a preselection method, it selects a moderate size subset of candidate variables for further refining via feature selection to produce the final model. The performance of variable screening depends on both computational efficiency and the ability to dramatically reduce the number of variables without discarding the important ones. When the data dimension $p$ is substantially larger than the sample size $n$, variable screening becomes crucial as 1) Faster feature selection algorithms are needed; 2) Conditions guaranteeing selection consistency might fail to hold. This article studies a class of linear screening methods and establishes consistency theory for this special class. In particular, we prove the restricted diagonally dominant (RDD) condition is a necessary and sufficient condition for strong screening consistency. As concrete examples, we show two screening methods $SIS$ and $HOLP$ are both strong screening consistent (subject to additional constraints) with large probability if $n > O((ρs + σ/τ)^2\log p)$ under random designs. In addition, we relate the RDD condition to the irrepresentable condition, and highlight limitations of $SIS$.

研究动机与目标

• 为 $ p \gg n $ 情况下的高维变量筛选建立一致的理论框架。
• 识别线性筛选方法实现强筛选一致性的必要且充分条件。
• 分析 SIS 和 HOLP 在随机设计下的性能，并量化样本量需求。
• 将 RDD 条件与现有的不可替代性条件（irrepresentable condition）和受限特征值条件（restricted eigenvalue condition）相联系。
• 证明 HOLP 通过放松边际相关性假设，克服了 SIS 的关键局限性。

提出的方法

• 引入强筛选一致性概念，并将受限对角占优（RDD）条件定义为其实现的必要且充分条件。
• 在 i.i.d. 子高斯设计下，利用随机矩阵理论和集中不等式推导筛选矩阵的理论界。
• 应用并集界和尾部界（如高斯尾部界）以控制筛选矩阵的非对角线和对角线项。
• 利用 RDD 条件中的辅助矩阵，灵活适配不同筛选方法（如 HOLP），从而实现对 SIS 的改进。
• 通过概率论论证，平衡信号多样性（$ \rho $）、稀疏性（$ s $）和信噪比（$ \sigma/\tau $），建立样本量需求。
• 依赖二次型的高概率集中性和特征值界，确保 RDD 条件以极高概率成立。

实验结果

研究问题

• RQ1 线性筛选方法实现强筛选一致性的必要且充分条件是什么？
• RQ2 RDD 条件在高维统计中与不可替代性条件和受限特征值条件有何关系？
• RQ3 在随机设计下，SIS 和 HOLP 在何种样本量条件下能以高概率实现筛选一致性？
• RQ4 为何 SIS 在边际相关性较弱时会失效，而 HOLP 如何克服这一局限？
• RQ5 当设计矩阵违反标准条件时，RDD 条件中的辅助矩阵是否可被选择以提升筛选性能？

主要发现

• 受限对角占优（RDD）条件是线性筛选方法实现强筛选一致性的必要且充分条件。
• 当 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 时，SIS 以高概率实现筛选一致性，但要求较强的边际信号强度。
• HOLP 在相同的样本量条件下实现筛选一致性，且假设更弱，得益于其灵活的辅助矩阵选择。
• RDD 条件推广了不可替代性条件，即使在后者不成立时，只要辅助矩阵选择得当，RDD 条件仍可成立。
• 样本量要求 $ n = O((\rho s + \sigma/\tau)^2 \log p) $ 比在固定设计下 Lasso 方法的符号一致性结果更严格。
• 理论框架表明，HOLP 的计算效率（$ O(n^2p) $）与在随机设计下的强理论一致性保证相兼容。