[论文解读] Preconditioning to comply with the Irrepresentable Condition

Jinzhu Jia, Karl Rohe|arXiv (Cornell University)|Aug 28, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用 19

一句话总结

本文提出了一种新颖的预条件化技术，将稀疏线性回归中的设计矩阵转换为满足不可表示性条件的形式，从而在原始设计矩阵违反这一严格假设时，仍能实现Lasso估计量的符号一致性。通过应用一种将奇异值归一化为0或1并诱导行或列正交性的预条件器，该方法在高维设置（p >> n）下显著提升了模型选择性能，具有理论保证和强大的模拟结果，显示出更强的统计一致性并降低了对限制性相关性假设的依赖。

ABSTRACT

Preconditioning is a technique from numerical linear algebra that can accelerate algorithms to solve systems of equations. In this paper, we demonstrate how preconditioning can circumvent a stringent assumption for sign consistency in sparse linear regression. Given $X \in R^{n imes p}$ and $Y \in R^n$ that satisfy the standard regression equation, this paper demonstrates that even if the design matrix $X$ does not satisfy the irrepresentable condition for the Lasso, the design matrix $F X$ often does, where $F \in R^{n imes n}$ is a preconditioning matrix defined in this paper. By computing the Lasso on $(F X, F Y)$, instead of on $(X, Y)$, the necessary assumptions on $X$ become much less stringent. Our preconditioner $F$ ensures that the singular values of the design matrix are either zero or one. When $n\ge p$, the columns of $F X$ are orthogonal and the preconditioner always circumvents the stringent assumptions. When $p\ge n$, $F$ projects the design matrix onto the Stiefel manifold; the rows of $F X$ are orthogonal. We give both theoretical results and simulation results to show that, in the high dimensional case, the preconditioner helps to circumvent the stringent assumptions, improving the statistical performance of a broad class of model selection techniques in linear regression. Simulation results are particularly promising.

研究动机与目标

• 为解决Lasso在高维回归中的局限性，即当设计矩阵列之间存在高相关性时，不可表示性条件被违反，导致符号一致性失效。
• 开发一种数据驱动的预条件化方法，将设计矩阵转换为满足不可表示性条件的形式，从而恢复Lasso估计量的符号一致性。
• 证明预条件化可降低对设计矩阵结构的限制性假设的依赖，尤其是在高维情形（p >> n）下。
• 提供理论界，表明在温和的随机矩阵假设下，预条件化后的设计矩阵以高概率满足不可表示性条件。
• 通过模拟实验验证该方法，显示在相关设计下，其模型选择准确率和一致性显著优于标准Lasso。

提出的方法

• 提出一种新颖的预条件器矩阵 Phys. Rev. E，将设计矩阵 X 转换为奇异值被限制为0或1的新矩阵，确保数值稳定性并改善条件性。
• 将预条件器同时应用于设计矩阵 X 和响应向量 Y，而非在原始对 (X, Y) 上求解Lasso，而是在变换后的对 (Phys. Rev. E X, Phys. Rev. E Y) 上求解Lasso。
• 当 n ≥ p 时，预条件器在变换后的设计矩阵中诱导列正交性，从而保证不可表示性条件的满足。
• 当 p ≥ n 时，预条件器将设计矩阵投影到Stiefel流形上，使变换后矩阵具有行正交性。
• 利用随机矩阵理论和浓度不等式，推导出预条件化矩阵列间最大相关性的高概率界。
• 采用并集界和卡方与正态分布的尾部界，证明当 n 的增长速度快于 s² log p 时，不可表示性条件以高概率成立。

实验结果

研究问题

• RQ1 在原始设计矩阵违反不可表示性条件时，预条件化是否仍可用于使Lasso满足不可表示性条件，即使在高维回归中？
• RQ2 在何种设计矩阵条件下，可保证预条件化后的矩阵以高概率满足不可表示性条件？
• RQ3 所提出的预条件器如何影响Lasso的统计性能，特别是在符号一致性和模型选择准确率方面？
• RQ4 当预测变量数量 p 超过样本大小 n 时，该预条件化方法是否仍有效？
• RQ5 在随机矩阵假设下，预条件化设计矩阵满足不可表示性条件的理论概率是多少？

主要发现

• 预条件器 Phys. Rev. E 确保变换后设计矩阵的所有奇异值均为0或1，显著改善了数值条件性。
• 当 n ≥ p 时，预条件化后的设计矩阵具有正交列，无论原始相关结构如何，均可保证不可表示性条件成立。
• 当 p ≥ n 时，预条件化后的设计矩阵具有正交行，且在 n 和 p 满足温和条件时，不可表示性条件以高概率成立。
• 对于具有i.i.d.标准正态分布条目的随机设计矩阵，若 n 的增长速度快于 s² log p，则不可表示性条件成立的概率至少为 1 - ½p(p−1)e⁻ⁿᶜ²/(16(2s−1)²) - 3p(p−1)e⁻ⁿ/¹⁶。
• 当矩阵在Stiefel流形上均匀分布时，任意两列间最大相关性被 c/(2s−1) 限制的概率至少为 1 - 4p(p−1)e⁻ⁿ¹/²。
• 模拟结果表明，在高相关性条件下，特别是高维设置中，预条件化Lasso在模型选择性能和符号一致性方面显著优于标准Lasso。