[论文解读] Revisiting Marginal Regression

Christopher R. Genovese, Jiashun Jin+1 more|ArXiv.org|Nov 20, 2009

Statistical Methods and Inference参考文献 28被引用 28

一句话总结

本文重新审视了边际回归作为高维稀疏回归中套索回归的计算高效替代方法。它建立了边际回归实现精确变量选择的理论条件，展示了其在模拟中与套索回归相当的性能，并表明即使在套索回归失效的情况下，边际回归依然有效，尤其是在高共线性或调参更简单的场景下。

ABSTRACT

The lasso has become an important practical tool for high dimensional regression as well as the object of intense theoretical investigation. But despite the availability of efficient algorithms, the lasso remains computationally demanding in regression problems where the number of variables vastly exceeds the number of data points. A much older method, marginal regression, largely displaced by the lasso, offers a promising alternative in this case. Computation for marginal regression is practical even when the dimension is very high. In this paper, we study the relative performance of the lasso and marginal regression for regression problems in three different regimes: (a) exact reconstruction in the noise-free and noisy cases when design and coefficients are fixed, (b) exact reconstruction in the noise-free case when the design is fixed but the coefficients are random, and (c) reconstruction in the noisy case where performance is measured by the number of coefficients whose sign is incorrect. In the first regime, we compare the conditions for exact reconstruction of the two procedures, find examples where each procedure succeeds while the other fails, and characterize the advantages and disadvantages of each. In the second regime, we derive conditions under which marginal regression will provide exact reconstruction with high probability. And in the third regime, we derive rates of convergence for the procedures and offer a new partitioning of the ``phase diagram,'' that shows when exact or Hamming reconstruction is effective.

研究动机与目标

• 重新评估边际回归在 $ p \gg n $ 的高维回归设置下作为套索回归的可行替代方案。
• 研究边际回归实现精确变量选择的理论条件，尤其与套索回归进行比较。
• 评估边际回归在三种情形下的表现：无噪声下的精确恢复、含噪声情形下的符号错误率，以及随机系数向量情形。
• 证明边际回归可在保持与套索回归相当统计性能的同时，为大规模问题提供显著的计算优势。

提出的方法

• 通过相关性学习使用边际回归：计算 $ \widehat{\alpha} = X^T Y $，然后通过调参 $ t $ 对 $ \widehat{\alpha}_j $ 进行阈值化处理，得到 $ \widehat{\beta}_j = \widehat{\alpha}_j \cdot \mathbf{1}\{ |\widehat{\alpha}_j| \geq t \} $。
• 利用相干性、不可表示性和忠实性等概念，分析无噪声情形下的精确恢复条件。
• 将忠实性条件引入为边际回归在 $ \beta $ 为随机时以高概率成功的关键要求。
• 推导含噪声情形下符号恢复的收敛速率，通过汉明误差衡量性能。
• 构建新的相图分区，以展示精确恢复或汉明恢复可行的区域。
• 利用集中不等式和随机矩阵理论（例如 $ U_{k+1} - I_{k+1} $ 的特征值界）控制高维渐近中的误差项。

实验结果

研究问题

• RQ1 在无噪声情形下，边际回归在何种条件下可实现精确变量选择？这些条件与套索回归的条件相比如何？
• RQ2 边际回归能否在保持相当统计性能的同时，实现比套索回归更高的计算效率？
• RQ3 当 $ \beta $ 为随机生成时，忠实性条件在确保以高概率实现精确恢复方面起什么作用？
• RQ4 在含噪声设置下，套索回归与边际回归在符号恢复错误率方面有何比较？
• RQ5 根据新的相图，边际回归在高维参数空间的哪些区域是有效的？

主要发现

• 边际回归在与套索回归的不可表示性条件密切相关的一个忠实性条件下，可实现精确变量选择。
• 存在一些例子表明，当设计矩阵违反不可表示性条件或存在高共线性时，边际回归可实现精确恢复，而套索回归则失败。
• 在随机 $ \beta $ 情形下，边际回归在忠实性条件下可高概率实现精确恢复，且在温和假设下该条件以极高概率成立。
• 套索回归在固定 $ \beta $ 情形下具有更广泛的适用条件，但边际回归对共线性更具鲁棒性，且在实践中更易于调参。
• 模拟结果表明，尽管套索回归具有理论优势，边际回归在预测和变量选择方面的性能与之相当。
• 新的相图将高维区域划分为精确恢复或汉明恢复可行的区域，揭示了边际回归在广泛设置下均有效，尤其在 $ p \gg n $ 时表现突出。