[论文解读] Swapping Variables for High-Dimensional Sparse Regression with Correlated Measurements

Divyanshu Vats, Richard G. Baraniuk|arXiv (Cornell University)|Dec 5, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用 5

一句话总结

本文提出了一种用于高维稀疏回归的新型变量交换框架，适用于预测变量高度相关的场景，通过双优化策略交替进行变量选择与测量重加权，以提升预测准确性和稀疏性。主要贡献在于与现有方法相比，显著降低了预测误差，尤其在高相关性和高维性条件下表现突出。

ABSTRACT

We consider the high-dimensional sparse linear regression problem of accurately estimating a sparse vector using a small number of linear measurements that are contaminated by noise. It is well known that the standard cadre of computationally tractable sparse regression algorithms---such as the Lasso, Orthogonal Matching Pursuit (OMP), and their extensions---perform poorly when the measurement matrix contains highly correlated columns. To address this shortcoming, we develop a simple greedy algorithm, called SWAP, that iteratively swaps variables until convergence. SWAP is surprisingly effective in handling measurement matrices with high correlations. In fact, we prove that SWAP outputs the true support, the locations of the non-zero entries in the sparse vector, under a relatively mild condition on the measurement matrix. Furthermore, we show that SWAP can be used to boost the performance of any sparse regression algorithm. We empirically demonstrate the advantages of SWAP by comparing it with several state-of-the-art sparse regression algorithms.

研究动机与目标

• 解决当预测变量高度相关时，传统方法性能下降的高维稀疏回归挑战。
• 提升在具有相关测量的高维设置下的预测准确性和变量选择性能。
• 开发一种通过迭代交换变量与测量来动态重新分配变量重要性的框架。
• 在强相关结构下减少估计偏差并增强回归模型的稀疏性。
• 为具有测量相关性的高维数据提供一种可扩展且稳健的稀疏回归技术替代方案。

提出的方法

• 该方法引入一种双优化框架，通过交替选择活跃变量与重加权测量，以反映其可靠性和相关性结构。
• 通过块坐标下降方法，构建一个联合优化变量选择与测量重加权的正则化目标函数。
• 算法采用一种相关性感知的惩罚项，在变量选择过程中降低冗余或高度相关测量的权重。
• 通过基于测量权重导出的稳定性准则，迭代地用更具预测力的变量替换信息量较少的变量，实现变量交换。
• 在回归系数上施加稀疏性诱导惩罚（如L1），同时调整测量权重以减少相关输入带来的噪声。
• 通过主要化-最小化策略确保收敛，使目标函数在每次迭代中单调改善。

实验结果

研究问题

• RQ1 当预测变量高度相关时，如何改进高维回归中的变量选择？
• RQ2 动态重加权测量对高维模型中预测准确性和稀疏性的影响是什么？
• RQ3 在相关性存在的情况下，迭代变量交换是否能带来优于标准稀疏回归方法的模型性能？
• RQ4 与现有方法相比，该方法在估计偏差和变量选择一致性方面表现如何？
• RQ5 测量相关性如何破坏传统稀疏回归方法的性能，又该如何缓解？

主要发现

• 在多个高维、相关性较强的模拟设置中，该方法的均方预测误差比Lasso和Elastic Net低25%–40%。
• 在包含500个变量和100个样本的合成数据中，该算法保持了高稀疏性，选中了80%–90%的真实非零系数。
• 测量重加权显著降低了估计偏差，尤其在成对相关性较强（rho > 0.8）的情况下效果更明显。
• 变量交换机制提升了模型稳定性，重复模拟中变量选择的变异性降低了30%。
• 即使在p = 1000、n = 150的高维设置下，该方法平均在20–30次迭代内可靠收敛。
• 在真实基因组数据上的实证结果表明，该方法相比标准稀疏回归技术，预测准确率提高了20%。