[论文解读] Optimization over Sparse Symmetric Sets via a Nonmonotone Projected Gradient Method

Zhaosong Lu|arXiv (Cornell University)|Sep 29, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 13

一句话总结

本文提出了一种用于对称集合上稀疏优化的非单调投影梯度（NPG）方法，结合了支持集变换与坐标交换策略及可变步长。该方法引入了一种强于L-稳定性的最优性条件，证明了NPG的任意聚点均满足该条件，并为坐标维最小化点，数值结果表明其解的质量优于经典PG方法，且在速度上具有竞争力。

ABSTRACT

We consider the problem of minimizing a Lipschitz differentiable function over a class of sparse symmetric sets that has wide applications in engineering and science. For this problem, it is known that any accumulation point of the classical projected gradient (PG) method with a constant stepsize $1/L$ satisfies the $L$-stationarity optimality condition that was introduced in [3]. In this paper we introduce a new optimality condition that is stronger than the $L$-stationarity optimality condition. We also propose a nonmonotone projected gradient (NPG) method for this problem by incorporating some support-changing and coordintate-swapping strategies into a projected gradient method with variable stepsizes. It is shown that any accumulation point of NPG satisfies the new optimality condition and moreover it is a coordinatewise stationary point. Under some suitable assumptions, we further show that it is a global or a local minimizer of the problem. Numerical experiments are conducted to compare the performance of PG and NPG. The computational results demonstrate that NPG has substantially better solution quality than PG, and moreover, it is at least comparable to, but sometimes can be much faster than PG in terms of speed.

研究动机与目标

• 为解决经典投影梯度（PG）方法在对称集合上求解稀疏优化问题时的局限性，因可行集非凸而导致PG收敛至次优解点。
• 提出一种强于先前工作中引入的L-稳定性条件的新型最优性条件，以确保更优的收敛保证。
• 提出一种具有可变步长、支持集变换与坐标交换策略的非单调投影梯度（NPG）方法，以提升解的质量与收敛行为。
• 建立理论收敛性至更强的最优性条件，并通过基数约束问题的数值实验验证性能提升。
• 证明NPG可在保持或提升计算速度的同时，显著优于PG方法获得更优的目标值，尤其在大规模场景下表现突出。

提出的方法

• NPG方法采用可变步长，并结合非单调线搜索策略，以增强收敛鲁棒性。
• 集成支持集变换与坐标交换机制，以逃离劣质局部解并探索更优的稀疏结构。
• 使用对稀疏对称集 $\mathcal{C}_s \cap \Omega$ 的正交投影，该投影在某些对称凸集 $\Omega$ 下可高效计算。
• 提出一种新型最优性条件，要求对所有 $t \in [0, T]$ 满足 $x^* = \text{Proj}_{\mathcal{C}_s \cap \Omega}(x^* - t\nabla f(x^*))$，该条件强于L-稳定性。
• 该算法确保任意聚点均满足此新条件，因此为坐标维稳定点。
• 理论分析证明，在适当假设下，此类点为问题的全局或局部极小化点。

实验结果

研究问题

• RQ1 能否设计一种投影梯度方法，使其在稀疏对称优化中收敛至强于L-稳定性的最优性条件？
• RQ2 支持集变换与坐标交换策略如何在非凸稀疏优化中提升解的质量？
• RQ3 与固定步长PG方法相比，采用可变步长的非单调线搜索策略是否在目标值与收敛速度方面表现更优？
• RQ4 在可行集非凸的情况下，所提出的NPG方法是否能在较弱假设下实现全局或局部最优性？
• RQ5 在大规模稀疏优化问题中，NPG方法与经典PG方法在解质量与计算效率方面相比如何？

主要发现

• 在逻辑回归损失与最小二乘损失问题上，NPG方法获得的目标值显著优于PG方法，目标值改善最高达28%（例如，当n=10000时，3284.9 vs. 3008.6）。
• 在CPU时间方面，NPG远快于PG，最大实例（n=10000）的耗时从超过7000秒降至13秒以下，实现超过500倍的加速。
• 在非负单纯形上的最小二乘损失问题中，NPG实现目标值60%的降低（例如，当n=5000时，1961.5 vs. 772.0），同时仅多花费少许时间（2.24秒 vs. 1.25秒）。
• NPG方法收敛至强于L-稳定性的最优性条件，确保任意聚点均为坐标维稳定点。
• 数值结果证实，NPG在速度上至少与PG相当，甚至更快，且在所有测试实例中始终产生更优的解。
• 理论分析证实，在适当假设下，NPG的聚点为全局或局部极小化点，验证了该方法收敛至高质量解的可靠性。