[论文解读] Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model

Yasaman Mahdaviyeh, Zacharie Naulet|arXiv (Cornell University)|Dec 31, 2019

Random Matrices and Applications参考文献 15被引用 6

一句话总结

本文在高维低样本量（d/n → ∞）的背景下，分析了在脉冲协方差模型下最小范数最小二乘（MNLS）估计器的风险。研究结果表明，MNLS估计器的风险相对于零模型估计器的风险趋于消失，并通过利用脉冲模型结构，推导出既包含渐近又包含非渐近的界，从而在偏差分析方面超越了以往的工作。

ABSTRACT

We study risk of the minimum norm linear least squares estimator in when the number of parameters $d$ depends on $n$, and $\frac{d}{n} ightarrow \infty$. We assume that data has an underlying low rank structure by restricting ourselves to spike covariance matrices, where a fixed finite number of eigenvalues grow with $n$ and are much larger than the rest of the eigenvalues, which are (asymptotically) in the same order. We show that in this setting risk of minimum norm least squares estimator vanishes in compare to risk of the null estimator. We give asymptotic and non asymptotic upper bounds for this risk, and also leverage the assumption of spike model to give an analysis of the bias that leads to tighter bounds in compare to previous works.

研究动机与目标

• 分析在 d/n → ∞ 的高维设定下，最小范数最小二乘（MNLS）估计器的预测风险。
• 研究在脉冲协方差模型下MNLS估计器的行为，其中固定数量的特征值随 n 增长并主导其余特征值。
• 推导考虑数据低秩结构的渐近与非渐近风险上界。
• 在高维低样本量（HDLSS）背景下，提出一种新颖的偏差分析方法，从而获得比以往工作更紧的风险界。
• 通过证明特征值与特征向量的估计一致性可导致小风险，建立主成分分析（PCA）与线性回归之间的联系。

提出的方法

• 分析假设线性模型 Y_i = θ^T X_i + ξ_i，其中 ξ_i 为独立同分布的零均值噪声，方差为 σ²。
• MNLS估计器被定义为所有最小二乘解中 ℓ² 范数最小的解，其闭式表达为 θ̂ = (X^T X)^† X^T Y。
• 本文依赖 Shen 等人（2016a）和 Koltchinskii 与 Lounici（2016）在HDLSS背景下关于样本协方差矩阵特征值与特征向量收敛性的渐近结果。
• 利用冯·诺依曼迹不等式与谱范数界，控制风险分解中涉及投影到特征子空间的交叉项。
• 通过分解参数空间并使用集中不等式，对估计投影算子与真实投影算子之间的偏差进行偏差分析。
• 通过将 X₁^T θ 的方差与最大特征值 λ₁ 关联，并利用脉冲与非脉冲特征值之间的谱间隙，推导出理论界。

实验结果

研究问题

• RQ1 在脉冲协方差模型下，当 d/n → ∞ 时，MNLS估计器的风险的渐近行为如何？
• RQ2 在HDLSS背景下，MNLS估计器的风险与零模型估计器的风险相比如何？
• RQ3 能否通过利用协方差矩阵的脉冲结构，推导出更紧的非渐近风险界？
• RQ4 估计的脉冲特征子空间的一致性在多大程度上有助于减少MNLS估计器的偏差？
• RQ5 脉冲与非脉冲特征值之间的谱间隙如何影响风险界？

主要发现

• 在脉冲协方差模型下，当 d/n → ∞ 时，MNLS估计器的风险相对于零模型估计器的风险渐近趋于消失。
• 本文提供了依赖于谱间隙和估计脉冲特征子空间一致性的非渐近风险上界。
• 偏差项以一种新颖的方式进行分析，从而在HDLSS背景下获得比以往工作更紧的界。
• 渐近风险界通过脉冲模型下样本协方差矩阵特征值与特征向量的收敛结果推导得出。
• 分析表明，对脉冲特征值与特征向量的一致估计可导致小风险，凸显了高维设定下PCA与线性回归之间的直接联系。
• 在模型假设下，X₁^T θ 的方差与 λ₁‖θ‖² 相当，从而可基于最大特征值对风险实现紧密控制。