[论文解读] The LASSO risk for gaussian matrices

Mohsen Bayati, Andrea Montanari|arXiv (Cornell University)|Aug 16, 2010

Sparse and Compressive Sensing Techniques参考文献 17被引用 9

一句话总结

本文首次为设计矩阵 $ A $ 的 i.i.d. 高斯分布情形下，LASSO 估计量的归一化均方误差（MSE）建立了严格的渐近公式。通过近似消息传递（AMP）算法与高维渐近分析，推导出在固定纵横比 $ \delta = n/N $ 下 LASSO 风险的显式极限，精确刻画了高维情形下估计量的性能。

ABSTRACT

We consider the problem of learning a coefficient vector x_0\in R^N from noisy linear observation y=Ax_0+w \in R^n. In many contexts (ranging from model selection to image processing) it is desirable to construct a sparse estimator x'. In this case, a popular approach consists in solving an L1-penalized least squares problem known as the LASSO or Basis Pursuit DeNoising (BPDN). For sequences of matrices A of increasing dimensions, with independent gaussian entries, we prove that the normalized risk of the LASSO converges to a limit, and we obtain an explicit expression for this limit. Our result is the first rigorous derivation of an explicit formula for the asymptotic mean square error of the LASSO for random instances. The proof technique is based on the analysis of AMP, a recently developed efficient algorithm, that is inspired from graphical models ideas. Simulations on real data matrices suggest that our results can be relevant in a broad array of practical applications.

研究动机与目标

• 推导高维线性模型中，当设计矩阵为 i.i.d. 高斯分布时，LASSO 估计量归一化均方误差（MSE）的精确渐近表达式。
• 建立当问题维度增长时，LASSO 风险以概率几乎必然收敛到确定性极限的结论。
• 证明通过分析近似消息传递（AMP）算法，可精确刻画 LASSO 的性能，该算法在此情形下与 LASSO 统计等价。
• 通过在真实世界数据矩阵上的模拟验证理论结果，表明其结果在高斯系综之外也具有普适性。

提出的方法

• 分析基于近似消息传递（AMP）算法，该算法通过软阈值化和残差更新迭代估计稀疏信号。
• 证明依赖于状态演化框架，通过一组确定性递推方程追踪 AMP 迭代的渐近行为。
• 利用高斯近似技术和随机矩阵系综的性质，刻画 AMP 迭代的联合分布及其收敛到不动点的特性。
• 该方法在高维极限下建立了关键内积与范数的以概率几乎必然收敛，借助伪-Lipschitz 函数与测度集中性原理。
• 推导过程使用了一系列涉及信号、噪声和残差分量的渐近恒等式，表明其经验分布收敛到 i.i.d. 高斯分布。
• 关键技术突破在于证明 AMP 迭代收敛到真实 LASSO 解，且渐近风险由极限下的不动点方程刻画。

实验结果

研究问题

• RQ1 当设计矩阵具有 i.i.d. 高斯分布且问题维度增长时，LASSO 估计量的归一化均方误差的精确渐近值是什么？
• RQ2 在固定纵横比 $ \delta = n/N $ 下，随着样本数与特征数增加，LASSO 估计量的性能如何以分布方式收敛？
• RQ3 能否通过分析计算高效且在此情形下与 LASSO 统计等价的 AMP 算法，准确预测 LASSO 的性能？
• RQ4 高斯矩阵的渐近结果在多大程度上适用于非高斯的真实世界数据矩阵，如基因表达数据或医疗记录数据？

主要发现

• 当 $ N, n \to \infty $ 且 $ \delta = n/N $ 固定时，归一化的 LASSO 风险以概率几乎必然收敛到一个确定性极限。
• 该极限风险由一个显式公式给出，其依赖于信号噪声比与 $ x_0 $ 稀疏度的不动点方程解，该解通过 AMP 算法的状态演化推导得出。
• 渐近 MSE 与高斯矩阵 $ A $ 的具体实现无关，以概率几乎必然收敛到一个确定性值。
• AMP 算法实现了与 LASSO 相同的渐近性能，且其迭代在高维极限下收敛到真实的 LASSO 解。
• 在真实数据矩阵（基因表达与二值医疗记录）上的模拟表明，即使在中等规模问题（约 200 个变量）下，渐近公式仍能提供精确预测。
• 结果提示存在普适性：为高斯矩阵推导出的渐近风险公式，对一大类非高斯随机矩阵也成立，类似于随机矩阵理论中的发现。