[论文解读] Power analysis of knockoff filters for correlated designs

Jingbo Liu, Philippe Rigollet|arXiv (Cornell University)|Oct 28, 2019

Bayesian Modeling and Causal Inference参考文献 11被引用 6

一句话总结

本文引入有效信号不足（ESD）作为衡量工具，用于预测在具有相关高斯设计的高维线性模型中， knockoff filter 的一致性和统计功效。研究表明，精度矩阵的结构，尤其是通过条件独立性所体现的结构，决定了 knockoff filter 的性能，并提出了一种名为条件独立 knockoff 的简单而高效的方法，适用于高斯树状结构设计，其功效与标准 knockoff filter 相当或更优，同时保持了 FDR 控制。

ABSTRACT

The knockoff filter introduced by Barber and Candès 2016 is an elegant framework for controlling the false discovery rate in variable selection. While empirical results indicate that this methodology is not too conservative, there is no conclusive theoretical result on its power. When the predictors are i.i.d. Gaussian, it is known that as the signal to noise ratio tend to infinity, the knockoff filter is consistent in the sense that one can make FDR go to 0 and power go to 1 simultaneously. In this work we study the case where the predictors have a general covariance matrix $Σ$. We introduce a simple functional called effective signal deficiency (ESD) of the covariance matrix $Σ$ that predicts consistency of various variable selection methods. In particular, ESD reveals that the structure of the precision matrix $Σ^{-1}$ plays a central role in consistency and therefore, so does the conditional independence structure of the predictors. To leverage this connection, we introduce Conditional Independence knockoff, a simple procedure that is able to compete with the more sophisticated knockoff filters and that is defined when the predictors obey a Gaussian tree graphical models (or when the graph is sufficiently sparse). Our theoretical results are supported by numerical evidence on synthetic data.

研究动机与目标

• 理解在现有结果有限的情况下，相关设计下 knockoff filter 的理论功效。
• 识别影响 knockoff filter 一致性和功效的设计协方差矩阵的结构性质。
• 开发一种新的 knockoff 构造方法——条件独立 knockoff，利用条件独立结构以提升性能。
• 建立一个功能性指标 ESD，量化协方差矩阵的信号不足程度，并预测一致变量选择的可行性。
• 通过理论分析与合成实验表明，精度矩阵结构，尤其是通过条件独立性体现的结构，对 knockoff filter 性能具有决定性影响。

提出的方法

• 将有效信号不足（ESD）定义为协方差矩阵 Σ 的函数，用于预测在 knockoff 过滤下变量选择的一致性。
• 提出一种新的 knockoff 构造方法——条件独立 knockoff，专门针对具有树状结构的高斯图模型。
• 利用精度矩阵 Σ⁻¹ 编码条件独立关系，表明当图结构稀疏或为树状时，knockoff 构造是可行的。
• 推导出 (X, X̃) 联合协方差矩阵保持半正定的条件，确保 knockoff 生成的有效性。
• 应用 Hammersley 定理，将精度矩阵的非零元素模式与图模型结构关联，实现基于树状条件独立性的构造。
• 证明对于树状结构模型，精度矩阵的特征多项式在对角线外元素符号翻转下保持不变，从而支持对称 knockoff 构造。

实验结果

研究问题

• RQ1 协方差矩阵 Σ 的结构，尤其是其精度矩阵 Σ⁻¹，如何影响在相关设计下 knockoff filter 的功效与一致性？
• RQ2 能否设计一种简单的 knockoff 构造方法，利用如高斯树模型中的条件独立结构，以提升功效而不牺牲 FDR 控制？
• RQ3 何种设计矩阵的函数可预测在高维设置下 knockoff filter 的理论功效与一致性？
• RQ4 精度矩阵中编码的条件独立结构在多大程度上影响了有效 knockoff 的生成能力以及实现高统计功效的能力？
• RQ5 在合成数据上，所提出的条件独立 knockoff 方法相较于标准 knockoff filter，在功效与 FDR 控制方面的表现如何？

主要发现

• 引入有效信号不足（ESD）作为协方差矩阵的函数，用于预测 knockoff filter 的一致性，ESD 越低表示潜在功效越高。
• 精度矩阵 Σ⁻¹ 的结构，尤其是其条件独立模式，在决定 knockoff filter 的一致性和功效方面起着核心作用。
• 对于高斯树状结构设计，条件独立 knockoff 方法实现了高功效并保持了 FDR 控制，通常优于标准 knockoff filter。
• 理论分析表明，当精度矩阵对应于森林（如树）时，矩阵的特征多项式在对角线外元素符号翻转下保持不变，从而支持对称 knockoff 构造。
• 在信号噪声比趋于无穷大的极限情况下，当 ESD 较低时，knockoff filter 同时实现 FDR 控制且功效趋近于 1，验证了理想条件下的理论一致性。
• 在合成数据上的数值实验验证了理论预测，表明条件独立 knockoff 方法在稀疏图模型中实现的功效高于标准 knockoff filter。