[论文解读] On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression

Shummin Nakayama, Jun‐ya Gotoh|arXiv (Cornell University)|Jul 2, 2020

Sparse and Compressive Sensing Techniques参考文献 23被引用 11

一句话总结

本文证明，无需算法修改，近端梯度法（PGMs），包括 GIST 和 GPALM，在非光滑非凸稀疏回归中可收敛至 d-稳定点，其解质量与计算时间均优于近端 D.C. 算法（PDCAs）。作者证明 PGMs 达到了强于标准 PDCAs 的最优性条件，并通过实证表明 GIST 在大惩罚参数下始终优于 PDCA 变体。

ABSTRACT

This paper conducts a comparative study of proximal gradient methods (PGMs) and proximal DC algorithms (PDCAs) for sparse regression problems which can be cast as Difference-of-two-Convex-functions (DC) optimization problems. It has been shown that for DC optimization problems, both General Iterative Shrinkage and Thresholding algorithm (GIST), a modified version of PGM, and PDCA converge to critical points. Recently some enhanced versions of PDCAs are shown to converge to d-stationary points, which are stronger necessary condition for local optimality than critical points. In this paper we claim that without any modification, PGMs converge to a d-stationary point not only to DC problems but also to more general nonsmooth nonconvex problems under some technical assumptions. While the convergence to d-stationary points is known for the case where the step size is small enough, the finding of this paper is valid also for extended versions such as GIST and its alternating optimization version, which is to be developed in this paper. Numerical results show that among several algorithms in the two categories, modified versions of PGM perform best among those not only in solution quality but also in computation time.

研究动机与目标

• 比较 PGMs 与 PDCAs 在非光滑非凸稀疏回归问题中的表现。
• 建立标准 PGMs 收敛至 d-稳定点，该条件强于临界点的最优性条件。
• 将精确罚函数公式化扩展至同时实现变量选择与异常值检测的稀疏鲁棒回归。
• 提出并分析 GPALM，即 PALM 的非单调变体，以提升收敛性与性能。
• 通过解质量、计算时间与惩罚参数变化下的鲁棒性，实证评估算法性能。

提出的方法

• 在技术假设下，证明 PGMs 对一般非光滑非凸问题收敛至 d-稳定点，其结论超越了 D.C. 问题的特例。
• 提出 GPALM，即 PALM 的非单调扩展，用于具有精确罚函数重构的稀疏鲁棒回归。
• 应用精确罚函数表示，将变量选择与异常值检测在回归中联合建模。
• 在 PGM 变体（如 GIST）中采用非单调线搜索与更大步长，以提升收敛性与效率。
• 使用近端算子处理非光滑非凸正则化项，并通过次微分与方向导数条件分析收敛性。
• 在多种稀疏回归基准问题上，对比 GIST、GPALM、PDCA、PDCAe、NEPDCA 与 EPDCA 在不同惩罚参数下的表现。

实验结果

研究问题

• RQ1 标准 PGMs 是否能在一般非光滑非凸优化问题中收敛至 d-稳定点，而不仅限于 D.C. 问题？
• RQ2 基于 PGM 的方法（如 GIST 与 GPALM）与基于 PDCA 的方法相比，在解质量与收敛速度上表现如何？
• RQ3 PDCA 方法在大惩罚参数下性能是否下降？原因是什么？
• RQ4 精确罚函数公式能否扩展至同时实现变量选择与异常值检测的稀疏鲁棒回归？
• RQ5 在 PDCAs 中，收敛至更强最优性条件（d-稳定）与计算成本之间存在何种权衡？

主要发现

• PGMs，包括 GIST 与 GPALM，在无需修改的情况下收敛至 d-稳定点，该条件强于临界点的最优性条件。
• GIST 在所有测试问题中均在解质量与计算时间上优于所有其他算法。
• PDCA 类方法在大惩罚参数下表现欠佳，原因在于软阈值化导致过度稀疏，从而产生次优解。
• NEPDCA 可收敛至 d-稳定点，但因组合式活动集更新，其计算时间显著长于 PGMs。
• GPALM 在稀疏鲁棒回归中实现 d-稳定点收敛，将理论结果扩展至更广泛的问题类别。
• 数值结果表明，PGMs 比 PDCAs 更具鲁棒性与高效性，尤其在惩罚参数较大时。