[论文解读] Structured Sparse Regression via Greedy Hard-Thresholding

Prateek Jain, Nikhil Rao+1 more|arXiv (Cornell University)|Feb 19, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用 13

一句话总结

本文提出一种用于重叠组结构稀疏回归的贪心迭代硬阈值（IHT）方法，利用子模优化将NP难的投影替换为高效的贪心近似。该方法在高条件数（例如，$κ \geq 100$）下仍具备强理论保证，实现了相对于凸优化和贪心基线方法数量级的加速，能够快速准确地恢复组稀疏信号。

ABSTRACT

Several learning applications require solving high-dimensional regression problems where the relevant features belong to a small number of (overlapping) groups. For very large datasets and under standard sparsity constraints, hard thresholding methods have proven to be extremely efficient, but such methods require NP hard projections when dealing with overlapping groups. In this paper, we show that such NP-hard projections can not only be avoided by appealing to submodular optimization, but such methods come with strong theoretical guarantees even in the presence of poorly conditioned data (i.e. say when two features have correlation $\geq 0.99$), which existing analyses cannot handle. These methods exhibit an interesting computation-accuracy trade-off and can be extended to significantly harder problems such as sparse overlapping groups. Experiments on both real and synthetic data validate our claims and demonstrate that the proposed methods are orders of magnitude faster than other greedy and convex relaxation techniques for learning with group-structured sparsity.

研究动机与目标

• 解决现有用于重叠组稀疏回归的迭代硬阈值（IHT）方法在效率和理论限制方面的不足。
• 通过利用子模优化实现高效贪心近似，消除IHT中对NP难投影的需求。
• 在一般受限强凸性（RSC）/受限强光滑性（RSS）条件下，提供理论收敛保证，即使数据协方差矩阵的条件数较高（$\kappa$）。
• 将方法推广至更复杂的稀疏结构，包括稀疏重叠组和层次化组结构。
• 通过实证验证，证明IHT中近似投影在速度和精度上均优于凸松弛和其它贪心方法。

提出的方法

• 基于子模函数最大化设计贪心投影步骤，以近似计算重叠组的$k^*$-组稀疏向量上的NP难投影。
• 在每次迭代中应用带有完全校正（FC）步骤的迭代硬阈值，以改进收敛性和精度。
• 提出一种新颖的分析框架，将稀疏回归的保证从精确投影推广至近似贪心投影，确保在一般RSC/RSS条件下收敛。
• 通过修改投影规则，将方法推广至稀疏重叠组（SoG）设置，同时考虑组稀疏性和单个特征稀疏性。
• 为具有嵌套或重叠层次结构的组结构引入层次化扩展，保持理论保证和计算效率。
• 在硬阈值步骤中使用数据依赖的阈值规则，根据特征对残差减少的贡献选择特征。

实验结果

研究问题

• RQ1 基于子模优化的贪心投影能否在重叠组稀疏回归的IHT中替代NP难投影，同时保持理论收敛保证？
• RQ2 当数据协方差矩阵的条件数较高（$\kappa \gg 1$）时，所提出的IHT方法是否仍能一致地恢复真实稀疏向量$\bm{w}^*$？
• RQ3 在速度和精度方面，使用贪心投影的IHT方法与凸松弛（如组Lasso）及其他贪心方法（如GOMP、CoGEnT）相比表现如何？
• RQ4 IHT框架能否扩展至更复杂的稀疏结构，如稀疏重叠组和层次化组结构？
• RQ5 在使用近似投影时，IHT中计算效率与估计精度之间的权衡如何？

主要发现

• 所提出的IHT方法使用贪心投影，在$\kappa$任意大时，仍能以$n = \Omega\left((s\log\frac{1}{\epsilon} + \kappa^{2}k^{*}\log M)\log\frac{1}{\epsilon}\right)$组样本恢复$\bm{w}^*$的$\epsilon$-近似解，而以往方法要求$\kappa \leq 3$。
• 在噪声环境下，该方法保证$\|\hat{\bm{w}} - \bm{w}^*\| \leq 2\epsilon + \lambda \cdot \kappa \sqrt{\frac{s + \kappa^{2}k^{*}\log M}{n}}$，即使$\kappa$较大时仍为一致估计器，而以往IHT方法在相同条件下无法保持一致性。
• 在$\kappa = 10$的合成数据上，IHT-FC在0.1601秒内实现21.65%的重建误差，优于CoGEnT（23.53%误差，0.1414秒）和GOMP（25.01%误差，0.2891秒），且速度比CoGEnT快10倍。
• 在条件较差的设置下（$\kappa = 200$），IHT在$n \sim 1500$组测量下实现了$\bm{w}^*$的精确恢复，而GOMP在10次运行中均未能恢复$\bm{w}^*$。
• 在乳腺癌肿瘤分类数据集上，IHT-FC方法在所有对比方法中实现了最低的误分类率，表明其在近似投影下仍具备竞争力。
• 该方法在速度上相较凸松弛和其他贪心方法实现数量级加速，IHT在合成数据上仅耗时0.0400秒，而FW耗时6.4538秒。