[论文解读] Tight conditions for consistent variable selection in high dimensional nonparametric regression

Laëtitia Comminges, Arnak S. Dalalyan|arXiv (Cornell University)|Feb 17, 2011

Statistical Methods and Inference参考文献 27被引用 14

一句话总结

该论文为高维非参数回归中的变量选择建立了紧致的、非渐近的条件，其中内在维数 $d^*$ 远小于环境维数 $d$。该方法使用截断的经验傅里叶系数，并证明在 $d^* / \log n \to 0$ 时可实现一致恢复，而在 $d^* / \log n \to \infty$ 时则不可能，前提是满足温和的光滑性假设。

ABSTRACT

We address the issue of variable selection in the regression model with very high ambient dimension, i.e., when the number of covariates is very large. The main focus is on the situation where the number of relevant covariates, called intrinsic dimension, is much smaller than the ambient dimension. Without assuming any parametric form of the underlying regression function, we get tight conditions making it possible to consistently estimate the set of relevant variables. These conditions relate the intrinsic dimension to the ambient dimension and to the sample size. The procedure that is provably consistent under these tight conditions is simple and is based on comparing the empirical Fourier coefficients with an appropriately chosen threshold value.

研究动机与目标

• 填补在 $d$ 较大而 $n$ 较小时，高维设定下非参数回归中一致变量选择的理论空白。
• 推导出保证稀疏模式（即相关协变量集合）一致估计的 $d^*$、$d$ 和 $n$ 的紧致、非渐近条件。
• 证明所提出的基于经验傅里叶系数的方法在最小假设下可实现一致性，并给出失败概率的显式界。
• 建立尖锐相变：在温和的光滑性和设计假设下，当 $d^* / \log n \to 0$ 时可实现一致恢复，当 $d^* / \log n \to \infty$ 时则不可能。
• 通过刻画无计算约束下非参数变量选择的根本极限，为未来方法的评估提供基准。

提出的方法

• 该方法通过截断回归函数的经验傅里叶系数来估计稀疏模式，利用无关变量对应的系数较小的特性。
• 基于噪声水平 $σ$、回归函数的光滑性（通过 $L_2$ 和 $L_∞$ 范数衡量）以及设计密度的性质，推导出一种数据驱动的阈值。
• 该过程采用逐步计算策略：在每一步 $K = 1, 2, \dots, d^*$ 中，仅计算且比较满足 $\|\boldsymbol{k}\|_0 = K$ 的系数，一旦找到 $d^*$ 个相关变量即停止。
• 通过使用浓度不等式和熵估计，推导出理论保证，将错误概率界为 $3(6md)^{d^*}$，在所推导条件下当 $d \to \infty$ 时趋于零。
• 该方法是非参数的，不假设回归函数的具体参数形式，仅依赖于光滑性和有界性条件。
• 分析利用了相关傅里叶指标集合的熵以及熵函数 $N(d^*, 2L)$ 的行为，推导出样本量需求的紧致界。

实验结果

研究问题

• RQ1 在非参数回归中，允许稀疏模式一致恢复的 $d^*$、$d$ 和 $n$ 的最紧条件是什么？
• RQ2 非参数变量选择过程是否可在对回归函数和设计密度的最小假设下实现一致性？
• RQ3 是否存在样本量和维度之间的尖锐相变，将一致恢复与不一致恢复区分开来？
• RQ4 在非参数模型中，为实现一致变量选择，内在维数 $d^*$ 如何随 $n$ 和 $d$ 变化？
• RQ5 所提出的基于傅里叶的方法是否可在某些函数类（如加法模型）中实现多项式时间复杂度的一致性？

主要发现

• 在 $n \to \infty$ 时，若 $d^* / \log n \to 0$，且满足温和的光滑性和设计假设，则可实现一致变量选择。
• 当 $d^* / \log n \to \infty$ 时，一致恢复不可能实现，该结果建立了与下界仅差常数因子的尖锐阈值。
• 所提出的基于截断傅里叶系数的估计器在条件 $\log d / n \leq c_\star$ 下实现一致性，其中 $c_\star$ 依赖于光滑性和噪声参数。
• 估计器的失败概率被界为 $3(6md)^{d^*}$，在所推导条件下当 $d \to \infty$ 时趋于零。
• 该方法在加法模型中计算上可行，此时复杂度从指数级降为 $d$ 的多项式级。
• 该结果弥合了线性模型与非参数模型之间长期存在的理论差距：在线性模型中，一致恢复在 $d^* \log(d/d^*) = o(n)$ 时成立；而在非参数模型中，条件为 $d^* / \log n \to 0$，在高 $d^*$ 区域下更为严格。