[论文解读] No penalty no tears: Least squares in high-dimensional linear models

Xiangyu Wang, David B. Dunson+1 more|arXiv (Cornell University)|Jun 7, 2015

Statistical Methods and Inference参考文献 26被引用 8

一句话总结

本文提出两种新颖的三步算法，结合最小二乘拟合与硬阈值处理，以在 $ p > n $ 的高维线性模型中实现一致估计，其模型选择与估计一致性在弱于传统惩罚方法的条件下即可达成。该方法避免了正则化惩罚，实现了高效、可并行计算的算法，并在弱稀疏性和有界误差假设下仍具备强理论保证。

ABSTRACT

Ordinary least squares (OLS) is the default method for fitting linear models, but is not applicable for problems with dimensionality larger than the sample size. For these problems, we advocate the use of a generalized version of OLS motivated by ridge regression, and propose two novel three-step algorithms involving least squares fitting and hard thresholding. The algorithms are methodologically simple to understand intuitively, computationally easy to implement efficiently, and theoretically appealing for choosing models consistently. Numerical exercises comparing our methods with penalization-based approaches in simulations and data analyses illustrate the great potential of the proposed algorithms.

研究动机与目标

• 为解决在 $ p > n $ 的高维设置下，lasso 等惩罚方法的局限性，特别是其强正则性条件和计算负担。
• 开发一种广义普通最小二乘（OLS）框架，以在高维稀疏线性模型中保持一致性与可解释性。
• 在不依赖凸或非凸惩罚的前提下，仅通过最小二乘与硬阈值处理实现模型选择与估计一致性。
• 提供一种计算高效、可并行化的正则化方法替代方案，并具备强理论保证。

提出的方法

• 提出一种基于岭回归的广义 OLS 估计器，以在高维设置下稳定估计。
• 引入两种非迭代、三步算法：(1) 初始岭回归，(2) 硬阈值处理以选择候选变量，(3) 在选定子集上进行最终 OLS 拟合。
• 采用硬阈值处理识别强信号并降低维度，避免迭代优化的需要。
• 利用噪声与设计矩阵条件数的理论界，确保在条件数适度增长时的一致性。
• 依赖误差项的有界方差假设（$ \mathrm{Var}(\varepsilon) < \infty $），而非许多竞争方法所需的次高斯或有界误差假设。
• 支持完全并行化的矩阵运算，通信量最小，从而提升超高维数据（$ \log p = o(n) $）下的可扩展性。

实验结果

研究问题

• RQ1 能否在无正则化惩罚的前提下，将普通最小二乘稳定应用于高维线性模型？
• RQ2 在何种条件下，基于 OLS 的算法可在高维设置下实现一致的模型选择与估计？
• RQ3 结合硬阈值处理与最小二乘的方法是否在一致性、计算效率及误差分布鲁棒性方面优于惩罚方法？
• RQ4 与现有方法相比，所提算法在弱稀疏性和非次高斯误差下的表现如何？
• RQ5 当预测变量高度相关或设计矩阵的条件数适度增长时，算法能否保持一致性？

主要发现

• 所提算法在弱于 lasso 的条件下实现模型选择一致性和估计一致性，尤其避免了对不可表示性条件的需求。
• 一致性在误差项有界方差假设下成立，该假设比许多现有方法所需的次高斯或有界误差假设更宽松。
• 算法在超高维设置下（$ \log p = o(n) $）仍保持一致性，理论保证涵盖支持恢复与估计误差界。
• 在温和正则性条件下，估计误差以高概率有界：$ \|\hat{\beta}^{(ridge)}_d - \beta_d\|_\infty \leq 3\sigma\sqrt{\log p / n^\alpha} $。
• 算法计算高效且高度可并行化，矩阵运算通信量最小，适用于大 $ p $ 的场景。
• 实证结果表明，在各种模拟设置和真实数据分析中，模型选择、参数估计与计算速度方面均表现出与基于惩罚的方法相当甚至更优的性能。