[论文解读] Panning for Gold: Model-X Knockoffs for High-dimensional Controlled Variable Selection

Emmanuel J. Candès, Yingying Fan+2 more|arXiv (Cornell University)|Oct 7, 2016

Statistical Methods and Inference参考文献 40被引用 42

一句话总结

该论文提出 Model-X knockoffs 框架，一种新颖的高维变量选择方法，可在非线性和广义线性模型中控制错误发现率（FDR），即使在 $ n < p $ 的情况下，通过在已知协变量分布下概率性地构建合成 knockoff 变量来实现。该方法可实现有效的有限样本推断，在模拟和真实世界 GWAS 数据中表现优于现有方法，识别出的显著 SNP 数量是原研究的两倍。

ABSTRACT

Many contemporary large-scale applications involve building interpretable models linking a large set of potential covariates to a response in a nonlinear fashion, such as when the response is binary. Although this modeling problem has been extensively studied, it remains unclear how to effectively control the fraction of false discoveries even in high-dimensional logistic regression, not to mention general high-dimensional nonlinear models. To address such a practical problem, we propose a new framework of $model$-$X$ knockoffs, which reads from a different perspective the knockoff procedure (Barber and Candès, 2015) originally designed for controlling the false discovery rate in linear models. Whereas the knockoffs procedure is constrained to homoscedastic linear models with $n\ge p$, the key innovation here is that model-X knockoffs provide valid inference from finite samples in settings in which the conditional distribution of the response is arbitrary and completely unknown. Furthermore, this holds no matter the number of covariates. Correct inference in such a broad setting is achieved by constructing knockoff variables probabilistically instead of geometrically. To do this, our approach requires the covariates be random (independent and identically distributed rows) with a distribution that is known, although we provide preliminary experimental evidence that our procedure is robust to unknown/estimated distributions. To our knowledge, no other procedure solves the $controlled$ variable selection problem in such generality, but in the restricted settings where competitors exist, we demonstrate the superior power of knockoffs through simulations. Finally, we apply our procedure to data from a case-control study of Crohn's disease in the United Kingdom, making twice as many discoveries as the original analysis of the same data.

研究动机与目标

• 为解决高维非线性模型（如逻辑回归）中缺乏错误发现率（FDR）控制方法的问题，传统方法在此类场景下失效。
• 开发一种框架，无论协变量数量多少或条件响应分布复杂度如何，均可提供有效的有限样本推断。
• 将 knockoff 方法从同方差线性模型且 $ n \geq p $ 的情形扩展到 $ n < p $ 且 $ Y \mid X $ 的条件分布任意的情形。
• 在模拟和真实世界数据（如全基因组关联研究，GWAS）中，证明该方法在统计功效和鲁棒性方面优于现有方法。

提出的方法

• 以概率方式而非几何方式构建 knockoff 变量 $ \tilde{X} $，确保在已知 $ X $ 的联合分布下，$ X_j $ 与 $ \tilde{X}_j $ 之间具有可交换性。
• 利用 $ X $ 的联合分布生成 knockoff 变量，使得 $ (X, \tilde{X}) $ 满足可交换性：对任意变量索引的排列 $ \pi $，有 $ (X, \tilde{X}) \stackrel{d}{=} (X_{\pi}, \tilde{X}_{\pi}) $。
• 定义检验统计量 $ W_j $，例如在 lasso 类模型中 $ X_j $ 与 $ \tilde{X}_j $ 的系数估计值绝对差，以衡量变量重要性。
• 应用 knockoff 过滤：若 $ W_j > t $，则拒绝 $ H_0: X_j \text{ 是非活跃的} $，其中 $ t $ 的选择可将 FDR 控制在预设水平 $ q $。
• 利用条件随机化检验作为模型推断的替代方法，即使模型设定错误，也能实现 FDR 控制。
• 使用重要性采样和高效的计算重用技术，加速条件随机化检验，降低大规模问题的计算成本。

实验结果

研究问题

• RQ1 我们能否以一种确保在高维非线性模型中实现有效 FDR 控制的方式构建 knockoff 变量，这些模型具有 $ Y \mid X $ 的任意条件分布？
• RQ2 我们如何将 knockoff 框架从 $ n \geq p $ 的线性模型扩展到 $ n < p $ 且条件响应模型未知或复杂的场景？
• RQ3 在实践中，使用估计的协变量分布与已知分布对 FDR 控制和统计功效有何影响？
• RQ4 通过构建多个 knockoff 矩阵或使用其他特征重要性统计量，能否提升统计功效？
• RQ5 是否可能在不牺牲 FDR 控制的前提下，加速大规模应用中的条件随机化检验过程？

主要发现

• 在假设协变量为独立同分布且联合分布已知的前提下，Model-X knockoff 框架在高维非线性模型（包括广义线性模型）中实现了有限样本的 FDR 控制，即使 $ n < p $。
• 在模拟实验中，Model-X knockoffs 在高维逻辑回归和非线性模型中表现出优于现有方法的统计功效。
• 在英国克罗恩病 GWAS 数据集上的应用中，该方法识别出的显著 SNP 数量是原始分析的两倍，凸显了其实际应用价值。
• 初步实验表明，该方法对协变量分布估计误差具有鲁棒性，尤其在高斯设计下表现良好，表明其在使用估计分布时具备实际部署潜力。
• 该方法在传统变量选择方法因缺乏 FDR 控制而失效的场景下，提供了可靠的推断能力，尤其适用于高维、非线性或复杂条件模型。
• 条件随机化检验提供了一种强大且无需模型假设的 FDR 控制方法，尽管计算成本仍然较高，提示仍需进一步的算法优化。