[论文解读] Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization

Baojian Zhou, Feng Chen+1 more|arXiv (Cornell University)|May 9, 2019

Sparse and Compressive Sensing Techniques参考文献 60被引用 6

一句话总结

本文提出了一种新型随机优化算法——随机迭代硬阈值（StoIHT），用于非凸设置下的图结构稀疏性约束。该算法在最小二乘和逻辑回归损失函数下均实现了线性收敛，且收敛误差恒定，其效率和可扩展性优于确定性方法，在乳腺癌等大规模数据集上表现更优。

ABSTRACT

Stochastic optimization algorithms update models with cheap per-iteration costs sequentially, which makes them amenable for large-scale data analysis. Such algorithms have been widely studied for structured sparse models where the sparsity information is very specific, e.g., convex sparsity-inducing norms or $\ell^0$-norm. However, these norms cannot be directly applied to the problem of complex (non-convex) graph-structured sparsity models, which have important application in disease outbreak and social networks, etc. In this paper, we propose a stochastic gradient-based method for solving graph-structured sparsity constraint problems, not restricted to the least square loss. We prove that our algorithm enjoys a linear convergence up to a constant error, which is competitive with the counterparts in the batch learning setting. We conduct extensive experiments to show the efficiency and effectiveness of the proposed algorithms.

研究动机与目标

• 为解决复杂、非凸图结构稀疏性模型中缺乏高效随机优化方法的问题。
• 实现在全批量方法计算成本过高的大规模数据集上的可扩展学习。
• 将基于随机梯度的方法从凸稀疏性诱导范数扩展至由图定义的结构化、非凸支撑集。
• 在保持图约束优化精度的同时，实现低每轮迭代成本的线性收敛。
• 在真实应用场景（如图稀疏线性和逻辑回归）中验证该方法的有效性。

提出的方法

• 提出一种基于随机梯度的算法，将迭代硬阈值与图结构稀疏性约束相结合。
• 通过小批量上的梯度随机近似，将每轮迭代成本从 O(mp) 降低至 O(p)。
• 采用基于连通子图或聚类定义的结构化稀疏性模型 M(M) 的投影算子。
• 应用两倍近似投影（头部和尾部）以高效处理 NP-难的投影问题。
• 将迭代硬阈值框架适配至非凸、基于图的支撑集，同时保持收敛性保证。
• 在包括最小二乘和逻辑回归在内的通用损失函数下推导出高概率收敛性。

实验结果

研究问题

• RQ1 随机优化能否有效应用于非凸、图结构稀疏性模型？
• RQ2 所提出的StoIHT算法是否在最小二乘和逻辑回归损失函数下均实现线性收敛？
• RQ3 在大规模数据上，StoIHT与确定性方法相比，在收敛速度和解质量方面表现如何？
• RQ4 StoIHT能否在高维、噪声数据集上保持稀疏性结构（如连通子图）？
• RQ5 StoIHT在真实世界应用（如疾病爆发检测和癌症基因分析）中的实证性能如何？

主要发现

• StoIHT 在最小二乘和逻辑回归损失函数下均实现了线性收敛，收敛速率与批量方法一致。
• 在乳腺癌数据集上，StoIHT 将测试误差降低至 0.339 ± 0.07，优于 GraphIHT（0.352 ± 0.07）和 IHT（0.392 ± 0.06）。
• StoIHT 平均非零系数为 51.7 ± 26.7，显著低于 IHT（61.2 ± 22.1），表明其具有更优的稀疏性控制能力。
• 该算法在所有折数中均持续减少非零特征数量，其中 GraphStoIHT 的平均稀疏性最低（55.2 ± 28.9）。
• StoIHT 展现出卓越的可扩展性，每轮迭代成本从 O(mp) 降低至 O(p)，从而实现大规模数据的高效训练。
• 实证结果证实，StoIHT 在强制执行复杂图结构稀疏性的同时，仍能保持高预测准确性，验证了其实际应用价值。