[论文解读] Second order Stein: SURE for SURE and other applications in high-dimensional inference

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|Nov 9, 2018

Groundwater flow and contamination studies参考文献 43被引用 11

一句话总结

本文提出了一种二阶Stein公式，用于表征高维推断中Stein无偏风险估计（SURE）的方差。该文推导出对SURE的SURE——即SURE与真实风险之间平方误差的新型无偏估计量——从而实现了对Lasso和Elastic Net等估计量的精确风险评估，适用于模型选择、去偏估计和置信区域构建。

ABSTRACT

Stein's formula states that a random variable of the form $z^ op f(z) - ext{div} f(z)$ is mean-zero for functions $f$ with integrable gradient. Here, $ ext{div} f$ is the divergence of the function $f$ and $z$ is a standard normal vector. This paper aims to propose a Second Order Stein formula to characterize the variance of such random variables for all functions $f(z)$ with square integrable gradient, and to demonstrate the usefulness of this formula in various applications. In the Gaussian sequence model, a consequence of Stein's formula is Stein's Unbiased Risk Estimate (SURE), an unbiased estimate of the mean squared risk for almost any estimator $\hatμ$ of the unknown mean. A first application of the Second Order Stein formula is an Unbiased Risk Estimate for SURE itself (SURE for SURE): an unbiased estimate {providing} information about the squared distance between SURE and the squared estimation error of $\hatμ$. SURE for SURE has a simple form as a function of the data and is applicable to all $\hatμ$ with square integrable gradient, e.g. the Lasso and the Elastic Net. In addition to SURE for SURE, the following applications are developed: (1) Upper bounds on the risk of SURE when the estimation target is the mean squared error; (2) Confidence regions based on SURE; (3) Oracle inequalities satisfied by SURE-tuned estimates; (4) An upper bound on the variance of the size of the model selected by the Lasso; (5) Explicit expressions of SURE for SURE for the Lasso and the Elastic-Net; (6) In the linear model, a general semi-parametric scheme to de-bias a differentiable initial estimator for inference of a low-dimensional projection of the unknown $β$, with a characterization of the variance after de-biasing; and (7) An accuracy analysis of a Gaussian Monte Carlo scheme to approximate the divergence of functions $f: R^n o R^n$.

研究动机与目标

• 开发Stein公式的二阶扩展，以估计SURE的方差，SURE是高维估计中的关键工具。
• 为SURE与真实估计风险之间的平方误差提供无偏估计（即对SURE的SURE），适用于所有具有平方可积梯度的估计量。
• 在高维模型中实现改进的推断，包括置信区域、模型大小方差界和去偏估计。
• 在较弱正则性条件下，为SURE调参估计量建立oracle不等式和风险界。
• 为线性模型中低维投影提出一种通用的半参数去偏方案，并对去偏估计量的方差进行表征。

提出的方法

• 推导出Stein残差 $ \boldsymbol{z}^\top f(\boldsymbol{z}) - \text{div} f(\boldsymbol{z}) $ 的二阶矩的二阶恒等式，将Stein公式扩展至方差估计。
• 提出对SURE的SURE作为 $ \text{Var}( \text{SURE} - \text{true risk}^2 ) $ 的无偏估计量，其表达式以数据和估计量梯度的闭式形式表示。
• 应用二阶Stein公式，推导出SURE在估计均方误差时的风险上界。
• 利用该公式，基于SURE构造真实风险的置信区域，具有有限样本有效性。
• 为线性模型中可微初始估计量提出一种通用的去偏方案，去偏估计量的方差通过二阶Stein公式表征。
• 采用高斯浓度和Lipschitz论证，限制高维设定下对SURE的SURE的尾部行为。

实验结果

研究问题

• RQ1 能否无偏估计SURE的方差，从而准确评估SURE在高维估计中可靠性？
• RQ2 SURE的估计误差具有怎样的分布行为，如何量化其在模型选择和推断中的作用？
• RQ3 如何利用对SURE的SURE在高维模型中构造真实风险的有效置信区域？
• RQ4 在较弱正则性假设下，Lasso和Elastic Net等SURE调参估计量的有限样本风险界是什么？
• RQ5 能否为线性模型中低维投影构造一种通用的半参数去偏程序，并通过二阶Stein公式表征其方差？

主要发现

• 对SURE的SURE是SURE与真实估计风险之间平方距离的无偏估计量，其表达式简洁，以数据和估计量梯度的闭式形式表示。
• 该方法提供了Lasso所选模型大小方差的上界，更一般地，也给出了凸惩罚估计量的经验自由度的上界。
• 针对Lasso和Elastic Net，推导出了对SURE的SURE的显式表达式，从而实现了实际应用和风险评估。
• 在估计量梯度的Lipschitz条件较弱的假设下，为SURE调参估计量建立了oracle不等式。
• 为线性模型中低维投影提出了一种通用的半参数去偏方案，去偏估计量的方差通过二阶Stein公式得到完整表征。
• 证明了发散的高斯蒙特卡洛近似具有高精度，其理论误差界通过二阶Stein公式推导得出。