[论文解读] The Dantzig selector: Statistical estimation when $p$ is much larger than $n$

Candes, Emmanuel, Tao, Terence|arXiv (Cornell University)|Jun 4, 2005

Random Matrices and Applications被引用 1,694

一句话总结

本文提出了Dantzig选择器，一种用于高维线性模型的新估计器，其中变量数 $p$ 远大于样本数 $n$。它通过求解一个约束的 $β^1$-正则化问题，限制设计矩阵与残差向量之间的最大相关性，从而在设计矩阵满足稀疏性和限制等距条件时，实现估计误差接近理想oracle风险的对数因子。

ABSTRACT

In many important statistical applications, the number of variables or parameters $p$ is much larger than the number of observations $n$. Suppose then that we have observations $y=X\beta+z$, where $\beta\in\mathbf{R}^p$ is a parameter vector of interest, $X$ is a data matrix with possibly far fewer rows than columns, $n\ll p$, and the $z_i$'s are i.i.d. $N(0,\sigma^2)$. Is it possible to estimate $\beta$ reliably based on the noisy data $y$? To estimate $\beta$, we introduce a new estimator--we call it the Dantzig selector--which is a solution to the $\ell_1$-regularization problem \[\min_{ ilde{\b eta}\in\mathbf{R}^p}\| ilde{\beta}\|_{\ell_1}\quad subject to\quad \|X^*r\|_{\ell_{\infty}}\leq(1+t^{-1})\sqrt{2\log p}\cdot\sigma,\] where $r$ is the residual vector $y-X ilde{\beta}$ and $t$ is a positive scalar. We show that if $X$ obeys a uniform uncertainty principle (with unit-normed columns) and if the true parameter vector $\beta$ is sufficiently sparse (which here roughly guarantees that the model is identifiable), then with very large probability, \[\|\hat{\beta}-\beta\|_{\ell_2}^2\le C^2\cdot2\log p\cdot \Biggl(\sigma^2+\sum_i\min(\beta_i^2,\sigma^2)\Biggr).\] Our results are nonasymptotic and we give values for the constant $C$. Even though $n$ may be much smaller than $p$, our estimator achieves a loss within a logarithmic factor of the ideal mean squared error one would achieve with an oracle which would supply perfect information about which coordinates are nonzero, and which were above the noise level. In multivariate regression and from a model selection viewpoint, our result says that it is possible nearly to select the best subset of variables by solving a very simple convex program, which, in fact, can easily be recast as a convenient linear program (LP).

研究动机与目标

• 解决高维线性模型中 $p \gg n$ 的统计估计问题，这是基因组学、成像和信号处理中的常见挑战。
• 开发一种计算上可行的估计器，可在预测变量数量超过观测数时可靠估计参数向量 $\beta$。
• 建立估计器的非渐近误差界，其误差在对数因子内接近最优oracle风险。
• 证明即使真实 $\beta$ 是稀疏的，且设计矩阵满足统一不确定性原理（受限等距性质），该估计器仍能实现近似最优性能。
• 证明该估计器可高效计算为线性规划（LP），使其适用于大规模问题。

提出的方法

• 提出Dantzig选择器作为凸优化问题的解：在约束 $\|X^*(y - X\tilde{\beta})\|_{\ell^\infty} \leq (1 + t^{-1})\sqrt{2\log p} \cdot \sigma$ 下最小化 $\|\tilde{\beta}\|_{\ell^1}$，其中 $r = y - X\tilde{\beta}$ 为残差向量。
• 使用统一不确定性原理（UUP），通过受限等距常数 $\delta_S$ 和受限正交性常数 $\theta_{S,S'}$ 来刻画设计矩阵 $X$。
• 采用对偶论证和稀疏重构技术，对 $\ell^2$-范数下的估计误差进行上界估计。
• 应用浓度不等式和随机矩阵理论，推导估计误差的高概率界。
• 推导出一个关键不等式，表明即使在 $n \ll p$ 的情况下，该估计器的误差仍能保持在最优oracle风险的对数因子内。
• 将估计器重新表述为线性规划（LP），从而可通过标准优化求解器高效计算。

实验结果

研究问题

• RQ1 当 $p \gg n$ 且数据受噪声污染时，能否可靠估计高维参数向量 $\beta \in \mathbb{R}^p$？
• RQ2 在高维设置下，能否实现接近理想oracle风险（即若已知 $\beta$ 的真实支撑集和噪声水平时能达到的风险）的估计误差？
• RQ3 当设计矩阵满足受限等距型条件时，是否可能通过 $\ell^1$-正则化等凸优化过程实现近似最优性能？
• RQ4 与基于 $\ell^1$ 的其他估计器（如基追踪去噪）相比，Dantzig选择器在误差界和对稀疏性的自适应性方面表现如何？
• RQ5 该估计器在实践中是否可高效计算？其理论保证在确定性设计矩阵下是否依然成立？

主要发现

• Dantzig选择器在高概率下实现了 $\ell^2$-估计误差界 $\|\hat{\beta} - \beta\|_{\ell^2} \leq C^2 \cdot \sqrt{2\log p} \cdot \left(\sigma^2 + \sum_i \min(\beta_i^2, \sigma^2)\right)$。
• 该误差界在对数因子内接近理想均方误差，即若已知真实支撑集和噪声水平时能达到的最优误差。
• 当 $n \ll p$ 时，只要真实 $\beta$ 足够稀疏，且设计矩阵 $X$ 满足受限等距性质（常数满足 $\delta_S + \theta_{S,S} + \theta_{S,2S} < 1$），该方法仍表现良好。
• 该方法计算高效，可重述为线性规划（LP），使其可扩展至大规模问题。
• 理论保证在确定性设计矩阵下依然成立，而不仅限于随机设计，从而扩大了其适用范围。
• 该方法能自适应未知的 $\beta$ 稀疏度，在噪声水平较低时，性能优于非自适应方法（如基追踪去噪）