[论文解读] Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization

Tianyi Chen, Tianyu Ding+7 more|arXiv (Cornell University)|Apr 7, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 5

一句话总结

该论文提出 OBProx-SG，一种用于 ℓ₁-正则化问题的新型随机优化方法，通过结合近端随机梯度步骤与基于象限的投影步骤，显著提升解的稀疏性。该方法在凸与非凸设置下（包括 MobileNetV1 和 ResNet18 等深度神经网络）均实现了最先进的稀疏性——相比 Prox-SG 最多提升 21.86 倍，同时保持了具有竞争力的目标值与泛化精度。

ABSTRACT

Sparsity-inducing regularization problems are ubiquitous in machine learning applications, ranging from feature selection to model compression. In this paper, we present a novel stochastic method -- Orthant Based Proximal Stochastic Gradient Method (OBProx-SG) -- to solve perhaps the most popular instance, i.e., the l1-regularized problem. The OBProx-SG method contains two steps: (i) a proximal stochastic gradient step to predict a support cover of the solution; and (ii) an orthant step to aggressively enhance the sparsity level via orthant face projection. Compared to the state-of-the-art methods, e.g., Prox-SG, RDA and Prox-SVRG, the OBProx-SG not only converges to the global optimal solutions (in convex scenario) or the stationary points (in non-convex scenario), but also promotes the sparsity of the solutions substantially. Particularly, on a large number of convex problems, OBProx-SG outperforms the existing methods comprehensively in the aspect of sparsity exploration and objective values. Moreover, the experiments on non-convex deep neural networks, e.g., MobileNetV1 and ResNet18, further demonstrate its superiority by achieving the solutions of much higher sparsity without sacrificing generalization accuracy.

研究动机与目标

• 解决现有随机方法在 ℓ₁-正则化优化中难以同时实现快速收敛与高稀疏性的局限性。
• 比标准近端或方差缩减随机方法更有效地利用 ℓ₁ 正则化的结构特性。
• 开发一种在不牺牲模型泛化能力的前提下增强稀疏性的方法，尤其适用于深度学习。
• 为凸与非凸公式提供理论收敛保证。
• 通过生成更稀疏的模型表示，证明其在内存与能效效率方面的实际优越性。

提出的方法

• 该方法在近端随机梯度步骤（用于预测解的支撑集）与基于象限的面投影步骤（用于增强稀疏性）之间交替进行。
• 象限步骤将解投影到由当前象限面定义的更大区域，从而比标准近端更新更积极地促进稀疏性。
• 采用两阶段策略：首先进行近端随机梯度阶段（$N_{\text{P}} = 5N/|\text{B}|$）以达到一个良好的迭代点，随后切换至象限投影阶段（$N_{\text{O}} = 5N/|\text{B}|$）以增强稀疏性。
• 在非凸设置下，使用改进版本 OBProx-SG(+），其近端阶段延长（$N_{\text{P}} = 100N/|\text{B}|$），以确保在进入象限投影前实现收敛。
• 通过使用小批量估计梯度，该算法设计用于处理大规模问题，从而降低每轮迭代的计算成本。
• 基于当前迭代点的符号模式构建象限面子问题，实现结构化稀疏性促进。

实验结果

研究问题

• RQ1 能否设计一种随机优化方法，在 ℓ₁-正则化问题中同时实现快速收敛与高稀疏性？
• RQ2 基于象限的投影步骤是否显著优于标准近端梯度步骤，在促进稀疏性方面表现更优？
• RQ3 在非凸深度学习设置下，该方法在稀疏性与泛化能力方面的表现如何，特别是在 MobileNetV1 和 ResNet18 上？
• RQ4 该方法能否在生成远比 Prox-SG、RDA 和 Prox-SVRG 更稀疏解的同时，保持具有竞争力的目标值？
• RQ5 两阶段设计（近端 + 象限）对稀疏性演化与收敛行为有何影响？

主要发现

• 在 Fashion-MNIST 上的 ResNet18 上，OBProx-SG(+) 实现了相比 Prox-SG 最多 21.86 倍的稀疏性提升，且仅有 0.29% 的密集参数。
• 在 CIFAR10 上的 MobileNetV1 上，OBProx-SG(+) 实现了 2.90% 的密度（即 97.1% 的稀疏性），显著优于 Prox-SG 的 14.17% 密度。
• 该方法在测试精度方面与其它方法相当（例如在 MobileNetV1/CIFAR10 上达到 90.91%），表明泛化能力未出现退化。
• 稀疏性演化分析显示，OBProx-SG(+) 在早期阶段与 Prox-SG 表现相当，但在切换至象限步骤后，其稀疏性显著超越所有其他方法，证实了其强大的稀疏性促进能力。
• 在凸问题中，OBProx-SG 在稀疏性与目标值方面优于 Prox-SG、RDA 与 Prox-SVRG，且在某些情况下收敛速度更快。
• 理论分析证实，对于凸问题，该方法在期望意义下收敛至全局解；对于非凸问题，则收敛至一个驻点。