[论文解读] RANK: Large-Scale Inference With Graphical Nonlinear Knockoffs

Yingying Fan, Emre Demirkaya+2 more|arXiv (Cornell University)|Aug 31, 2017

Statistical Methods and Inference参考文献 59被引用 4

一句话总结

本文提出 RANK（RANK：基于图非线性 knockoffs 的大规模推断），一种新颖的高维特征选择方法，可在未知协变量分布的非线性模型中控制错误发现率（FDR），并实现渐近功效为一。该方法通过利用估计的高斯图模型构建模型无关的 knockoff 变量，将 knockoffs 框架扩展至图模型，确保在模型误设情况下仍具备稳健的 FDR 控制与高统计功效。

ABSTRACT

Power and reproducibility are key to enabling refined scientific discoveries in contemporary big data applications with general high-dimensional nonlinear models. In this article, we provide theoretical foundations on the power and robustness for the model-X knockoffs procedure introduced recently in Candès, Fan, Janson and Lv in high-dimensional setting when the covariate distribution is characterized by Gaussian graphical model. We establish that under mild regularity conditions, the power of the oracle knockoffs procedure with known covariate distribution in high-dimensional linear models is asymptotically one as sample size goes to infinity. When moving away from the ideal case, we suggest the modified model-X knockoffs method called graphical nonlinear knockoffs (RANK) to accommodate the unknown covariate distribution. We provide theoretical justifications on the robustness of our modified procedure by showing that the false discovery rate (FDR) is asymptotically controlled at the target level and the power is asymptotically one with the estimated covariate distribution. To the best of our knowledge, this is the first formal theoretical result on the power for the knockoffs procedure. Simulation results demonstrate that compared to existing approaches, our method performs competitively in both FDR control and power. A real dataset is analyzed to further assess the performance of the suggested knockoffs procedure. Supplementary materials for this article are available online.

研究动机与目标

• 解决在一般高维非线性模型下 knockoffs 方法缺乏理论功效保证的问题。
• 在真实协变量分布未知但假设服从高斯图模型的前提下，开发一种稳健的特征选择方法。
• 为在现实高维渐近条件下，基于模型无关 knockoffs 的 FDR 控制与功效建立理论基础。
• 提出一种可扩展且计算可行的方法，在控制错误发现率的同时保持高统计功效。

提出的方法

• RANK 利用高斯图模型估计的精度矩阵构造 knockoff 变量，实现无需假设响应模型的具体形式的模型无关推断。
• 基于估计的协方差结构，采用对称的二阶 knockoff 构造方法，以保持交换性并确保 FDR 控制。
• 采用正则化估计程序（如图模型 Lasso）从数据中估计高维精度矩阵。
• 通过基于 knockoff 变量导出的检验统计量实施特征筛选步骤，同时将 FDR 控制在预设水平。
• 理论分析依赖于浓度不等式与矩阵扰动理论，以界估计误差并确保渐近一致性。
• 通过利用图模型中编码的条件独立结构，将该框架扩展至非线性模型。

实验结果

研究问题

• RQ1 当协变量分布已知时，knockoffs 方法是否可在高维非线性模型中实现渐近功效为一？
• RQ2 如何在协变量分布未知的情况下扩展 knockoffs 框架，同时保持 FDR 控制？
• RQ3 在 knockoffs 基础的特征选择中，模型误设与功效之间的理论关系是什么？
• RQ4 基于模型无关 knockoffs 的方法是否可在非线性、高维设定下实现高功效与稳健的 FDR 控制？
• RQ5 从估计的图模型中构造的 knockoffs 的有限样本与渐近性质是什么？

主要发现

• 在温和正则性条件下，当协变量分布已知时，oracle knockoffs 方法在样本量增加时实现渐近功效为一。
• 所提出的 RANK 方法即使在真实精度矩阵从数据中估计时，也能实现渐近 FDR 控制在目标水平。
• 在相同条件下，RANK 的功效渐近为一，表明其在高维非线性模型中具备强大的理论性能。
• 仿真结果表明，RANK 在 FDR 控制与功效方面均优于现有方法，尤其在高维与非线性设定下表现更优。
• 通过估计误差与检验统计量偏离的理论界验证，该方法对模型误设与精度矩阵估计误差具有鲁棒性。