[论文解读] Strong Sure Screening of Ultra-high Dimensional Categorical Data

Randall Reese, Xiaotian Dai+1 more|arXiv (Cornell University)|Jan 10, 2018

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种新型特征筛选方法，针对超高维分类数据，利用Cochran-Armitage趋势检验，在正则条件下建立了强一致筛选性质。随着样本量增加，该方法以概率趋于1的一致性识别出所有真正重要的预测变量，在高维离散设置下优于现有方法。

ABSTRACT

Feature screening for ultra high dimensional feature spaces plays a critical role in the analysis of data sets whose predictors exponentially exceed the number of observations. Such data sets are becoming increasingly prevalent in areas such as bioinformatics, medical imaging, and social network analysis. Frequently, these data sets have both categorical response and categorical covariates, yet extant feature screening literature rarely considers such data types. We propose a new screening procedure rooted in the Cochran-Armitage trend test. Our method is specifically applicable for data where both the response and predictors are categorical. Under a set of reasonable conditions, we demonstrate that our screening procedure has the strong sure screening property, which extends the seminal results of Fan and Lv. A series of four simulations are used to investigate the performance of our method relative to three other screening methods. We also apply a two-stage iterative approach to a real data example by first employing our proposed method, and then further screening a subset of selected covariates using lasso, adaptive-lasso and elastic net regularization.

研究动机与目标

• 解决超高维数据中响应变量和预测变量均为分类变量时缺乏有效特征筛选方法的问题。
• 克服现有筛选方法对连续预测变量的假设或依赖参数模型的局限性。
• 为超高维设置下的分类数据量身定制一种无模型、非参数的筛选程序。
• 在最小假设下建立所提方法的理论保证，包括强一致筛选性质。
• 通过模拟研究和真实数据应用，展示该方法在两阶段迭代框架中结合正则化技术的实际效用。

提出的方法

• 基于Cochran-Armitage趋势检验提出筛选统计量，用于评估每个分类预测变量与分类响应变量之间的关联性。
• 定义一种基于秩次的相关性估计量 $\hat{\varrho}_j$，用于度量预测变量 $X_j$ 与响应变量 $Y$ 之间的关联强度，在温和正则条件下保证一致性。
• 采用阈值规则 $\widehat{\mathcal{S}} = \{j : \hat{\varrho}_j \geq c\}$，其中 $c = (2/3)\varrho_{\min}$，以选择重要变量。
• 证明 $\hat{\varrho}_j$ 作为真实秩相关系数 $\varrho_j$ 的估计量具有统一一致性，从而实现对所有 $p$ 个预测变量的可靠筛选。
• 应用两阶段迭代框架：首先使用所提方法降低维度，然后应用Lasso、自适应Lasso或弹性网络对所选集合进行优化。
• 理论分析基于大数定律的弱形式和一致收敛性，证明所选集合 $\widehat{\mathcal{S}}$ 以概率趋于1渐近包含所有真实信号。

实验结果

研究问题

• RQ1 能否为响应变量和预测变量均为离散的超高维分类数据，开发一种非参数、无模型的筛选方法？
• RQ2 所提方法是否能实现强一致筛选性质，确保所有真正重要的变量以概率趋于1被选中？
• RQ3 在有限样本下，基于Cochran-Armitage的筛选方法与现有方法（如HLW-SIS（皮尔逊卡方检验）和DC-SIS（距离相关性））相比表现如何？
• RQ4 该方法能否在两阶段框架中与正则化技术有效结合，以提高变量选择的准确性？
• RQ5 所提筛选统计量在何种理论条件下能一致估计分类变量之间的真实关联强度？

主要发现

• 所提方法实现了强一致筛选性质：在正则条件下，当 $n \to \infty$ 时，$\mathbb{P}(\mathcal{S}_T = \widehat{\mathcal{S}}) \to 1$。
• 秩相关性估计量 $\hat{\varrho}_j$ 对 $\varrho_j$ 具有统一一致性，确保在所有 $p$ 个预测变量上实现可靠的变量选择。
• 模拟研究结果表明，该方法在各种离散数据配置下，相较于HLW-SIS及其他筛选方法，在识别真正重要预测变量方面表现更优。
• 在真实数据应用中，两阶段方法（先使用所提方法，再应用Lasso或自适应Lasso）显著提升了选择的准确性和稳定性。
• 理论分析证实，筛选阈值 $c = (2/3)\varrho_{\min}$ 确保了所有真实信号的渐近包含和所有噪声变量的渐近排除。
• 该方法对模型误设具有鲁棒性，且无需对预测变量或响应变量的潜在分布做任何假设，适用于高维离散数据。