[论文解读] Pivotal Estimation via Self-Normalization for High-Dimensional Linear Models with Error in Variables

Alexandre Belloni, Abhishek Kaul+1 more|arXiv (Cornell University)|Aug 28, 2017

Statistical Methods and Inference参考文献 28被引用 15

一句话总结

本文提出了一种针对高维错误变量线性模型的基准估计方法，其中预测变量数量超过样本量。通过将估计约束自标准化，该方法消除了对依赖于未知噪声水平的调参的依赖，从而可通过二阶锥规划实现可靠计算，并在稀疏性假设下实现最优的 $\beta$-收敛速率。

ABSTRACT

We propose a new estimator for the high-dimensional linear regression model with observation error in the design where the number of coefficients is potentially larger than the sample size. The main novelty of our procedure is that the choice of penalty parameters is pivotal. The estimator is based on applying a self-normalization to the constraints that characterize the estimator. Importantly, we show how to cast the computation of the estimator as the solution of a convex program with second order cone constraints. This allows the use of algorithms with theoretical guarantees and reliable implementation. Under sparsity assumptions, we derive $\ell_q$-rates of convergence and show that consistency can be achieved even if the number of regressors exceeds the sample size. We further provide a simple to implement rule to threshold the estimator that yields a provably sparse estimator with similar $\ell_2$ and $\ell_1$-rates of convergence. The thresholds are data-driven and component dependents. Finally, we also study the rates of convergence of estimators that refit the data based on a selected support with possible model selection mistakes. In addition to our finite sample theoretical results that allow for non-i.i.d. data, we also present simulations to compare the performance of the proposed estimators.

研究动机与目标

• 解决协变量存在测量误差且预测变量数量 $p$ 超过样本量 $n$ 的高维线性模型问题。
• 开发一种惩罚参数为基准的估计器——即惩罚参数独立于未知噪声方差或 $\beta_0$-范数——从而消除对特定模型调参知识的依赖。
• 通过将估计器表示为具有二阶锥约束的凸规划问题，确保计算的可靠性。
• 在稀疏性假设下推导 $\beta_q$-范数的收敛速率，证明即使当 $p \gg n$ 时仍具有一致性，并构造出具有可证明稀疏支持的阈值估计器。
• 分析模型选择错误对修正估计器性能的影响，并在非独立同分布设计下提供有限样本保证。

提出的方法

• 通过自标准化定义解的约束条件来构建估计器，将问题转化为具有二阶锥约束的凸规划问题。
• 自标准化过程使惩罚参数具有基准性，消除了对未知噪声方差或 $\beta_0$-范数的依赖。
• 该方法利用数据驱动的估计量 $\hat{\Gamma}$ 来估计测量误差协方差矩阵 $\Gamma$，在存在辅助数据或缺失随机假设的应用中可获得该估计量。
• 提出估计器的阈值版本以实现稀疏性，采用分量特定的、数据驱动的阈值，同时保持最优的 $\ell_2$ 与 $\ell_1$ 收敛速率。
• 理论分析依赖于使用次高斯浓度与最大不等式对随机误差项的高概率界。
• 在一般设计假设下（包括非独立同分布数据）推导出有限样本结果，并通过模拟比较估计器性能予以支持。

实验结果

研究问题

• RQ1 是否可以在不依赖噪声方差或真实系数向量 $\ell_2$-范数知识的前提下，对存在测量误差的高维线性模型进行估计？
• RQ2 如何使估计器的惩罚参数具有基准性——即独立于未知模型参数——同时保持最优收敛速率？
• RQ3 在存在测量误差的情况下，模型选择错误对修正估计器性能有何影响？
• RQ4 是否能通过凸优化高效计算估计器并获得理论保证，即使在 $p \gg n$ 的情况下？
• RQ5 在非独立同分布设计与次高斯误差结构下，估计器的有限样本收敛速率如何？

主要发现

• 所提出的估计器实现了 $\ell_q$-收敛速率，其阶为 $s^{1/q}\sqrt{\log p / n}$，与存在测量误差的高维模型的极小极大最优速率一致。
• 惩罚参数具有基准性——无需知道 $\sigma_\xi^2$、$\sigma_w^2$ 或 $\|\beta_0\|_2$——从而支持鲁棒且自动化的实现。
• 该估计器可作为具有二阶锥约束的凸规划问题的解来计算，确保算法可靠性与收敛性保证。
• 估计器的阈值变体可产生具有相同 $\ell_2$ 与 $\ell_1$ 收敛速率的稀疏解，且使用分量特定的、数据驱动的阈值。
• 理论结果在非独立同分布设计下成立，包括缺失随机设定，从而拓宽了其在独立同分布假设之外的应用范围。
• 模拟结果证实了估计器在有限样本下的优异性能，尤其在与依赖未知噪声参数调参的方法相比时表现更优。