[论文解读] SLOPE is Adaptive to Unknown Sparsity and Asymptotically Minimax

Weijie Su, Emmanuel J. Candès|arXiv (Cornell University)|Mar 29, 2015

Sparse and Compressive Sensing Techniques参考文献 38被引用 12

一句话总结

该论文证明，SLOPE（一种基于秩的正则化回归估计器）在无需事先知晓稀疏度水平的情况下，可实现渐近最小最大估计误差。在高斯设计下，采用Benjamini-Hochberg型权重的SLOPE能够自适应未知稀疏度，并达到最优平方误差率 $2\sigma^2k\log(p/k)$，该结果与广泛稀疏模型下的理论下界完全一致。

ABSTRACT

We consider high-dimensional sparse regression problems in which we observe $y = X β+ z$, where $X$ is an $n imes p$ design matrix and $z$ is an $n$-dimensional vector of independent Gaussian errors, each with variance $σ^2$. Our focus is on the recently introduced SLOPE estimator ((Bogdan et al., 2014)), which regularizes the least-squares estimates with the rank-dependent penalty $\sum_{1 \le i \le p} λ_i |\hat β|_{(i)}$, where $|\hat β|_{(i)}$ is the $i$th largest magnitude of the fitted coefficients. Under Gaussian designs, where the entries of $X$ are i.i.d.~$\mathcal{N}(0, 1/n)$, we show that SLOPE, with weights $λ_i$ just about equal to $σ\cdot Φ^{-1}(1-iq/(2p))$ ($Φ^{-1}(α)$ is the $α$th quantile of a standard normal and $q$ is a fixed number in $(0,1)$) achieves a squared error of estimation obeying \[ \sup_{\| β\|_0 \le k} \,\, \mathbb{P} \left(\| \hatβ_{ ext{SLOPE}} - β\|^2 > (1+ε) \, 2σ^2 k \log(p/k) ight) \longrightarrow 0 \] as the dimension $p$ increases to $\infty$, and where $ε> 0$ is an arbitrary small constant. This holds under a weak assumption on the $\ell_0$-sparsity level, namely, $k/p ightarrow 0$ and $(k\log p)/n ightarrow 0$, and is sharp in the sense that this is the best possible error any estimator can achieve. A remarkable feature is that SLOPE does not require any knowledge of the degree of sparsity, and yet automatically adapts to yield optimal total squared errors over a wide range of $\ell_0$-sparsity classes. We are not aware of any other estimator with this property.

研究动机与目标

• 建立SLOPE作为自适应估计器，可自动适应高维回归中的未知稀疏度。
• 证明在弱稀疏性假设下，SLOPE可实现最小最大最优平方误差率。
• 证明SLOPE的性能与稀疏线性模型中估计误差的理论下界一致。
• 表明SLOPE的权重源自Benjamini-Hochberg程序，可实现无需调参的自动适应。
• 将SLOPE的理论最优性从已知稀疏度水平扩展到一类广泛的稀疏模型。

提出的方法

• SLOPE使用基于秩的惩罚项：$\sum_{i=1}^p \lambda_i |\hat{\beta}|_{(i)}$，其中 $|\hat{\beta}|_{(i)}$ 表示第 $i$ 个最大的系数绝对值。
• 权重 $\lambda_i$ 设为 $\sigma \cdot \Phi^{-1}(1 - iq/(2p))$，以模拟Benjamini-Hochberg FDR阈值化过程。
• 分析基于 $\bm{\beta}$ 的层次先验，其中包含 $k$ 个非零系数，幅度为 $\tau_{n,p}$，从而推导出最小最大风险下界。
• 证明通过将估计损失分解为若干块，并应用浓度不等式来控制尾部概率。
• 该方法应用于具有i.i.d. $\mathcal{N}(0,1/n)$ 入口的高斯设计矩阵，以确保渐近正态性和浓度性质。
• 在条件 $k/p \to 0$ 和 $k\log p / n \to 0$ 下推导出理论界，确保稀疏性和高维一致性。

实验结果

研究问题

• RQ1 SLOPE是否能在无需事先知晓稀疏度的情况下，在高维稀疏回归中实现最小最大最优估计误差？
• RQ2 SLOPE中使用FDR启发式权重是否能实现对未知稀疏度水平的自动适应？
• RQ3 在弱稀疏性假设下，SLOPE估计误差的渐近行为如何？
• RQ4 SLOPE的性能是否在匹配估计误差理论下界的意义上是最优的？
• RQ5 SLOPE的最小最大最优性能否扩展到子高斯或相关协变量的设计？

主要发现

• 在 $k/p \to 0$ 和 $k\log p / n \to 0$ 的条件下，SLOPE实现了最小最大最优平方误差率 $2\sigma^2k\log(p/k)$。
• 对于任意 $\epsilon > 0$，当 $p \to \infty$ 时，估计误差超过 $(1+\epsilon)\cdot 2\sigma^2k\log(p/k)$ 的概率收敛于零。
• SLOPE能自动适应未知稀疏度水平，在广泛的 $\ell_0$-稀疏类中实现最优性能。
• 使用权重 $\lambda_i = \sigma \cdot \Phi^{-1}(1 - iq/(2p))$ 确保SLOPE与估计误差的理论下界完全匹配。
• 最小最大风险下界被渐近匹配，证实SLOPE不仅具有自适应性，而且在最小最大意义下是最优的。
• 该结果在具有i.i.d. $\mathcal{N}(0,1/n)$ 入口的高斯设计矩阵下成立，且最优性在“不可改进”意义上是紧的，即任何其他估计器均无法进一步提升。