[论文解读] Sparsity Constrained Minimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|Aug 15, 2016

Sparse and Compressive Sensing Techniques参考文献 54被引用 20

一句话总结

本文提出了一种基于数学规划中的均衡约束（MPEC）的新方法，用于处理稀疏性约束最小化问题，将非凸的 $̆_0$-范数问题重新表述为双凸 MPEC。该方法引入了两种收敛算法——精确惩罚法与交替方向法，在特征选择、图像去噪和趋势滤波等多种应用中均实现了当前最优性能，且保证收敛至 KKT 点，优于基于 IHT 的方法。

ABSTRACT

Sparsity constrained minimization captures a wide spectrum of applications in both machine learning and signal processing. This class of problems is difficult to solve since it is NP-hard and existing solutions are primarily based on Iterative Hard Thresholding (IHT). In this paper, we consider a class of continuous optimization techniques based on Mathematical Programs with Equilibrium Constraints (MPECs) to solve general sparsity constrained problems. Specifically, we reformulate the problem as an equivalent biconvex MPEC, which we can solve using an exact penalty method or an alternating direction method. We elaborate on the merits of both proposed methods and analyze their convergence properties. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including feature selection, segmented regression, MRF optimization, trend filtering and impulse noise removal. Extensive experiments show that our MPEC-based methods outperform state-of-the-art techniques, especially those based on IHT.

研究动机与目标

• 解决一般稀疏性约束最小化问题中 $̆_0$-范数约束带来的 NP-难问题。
• 克服现有方法（如迭代硬阈值法 IHT）常产生次优解的局限性。
• 开发连续优化技术，可精确求解一般 $̆_0$-约束问题，并提供收敛性保证。
• 提供一个统一框架，适用于特征选择、图像复原和脉冲噪声去除等多种应用。
• 确保收敛至一阶 KKT 点，填补了先前非凸稀疏优化方法在理论上的关键空白。

提出的方法

• 利用 $̆_0$ 函数的变分表征，将 $̆_0$-范数最小化问题重新表述为等价的双凸 MPEC。
• 应用精确惩罚法对均衡约束进行惩罚，将 MPEC 转化为光滑的无约束问题。
• 使用交替方向法（ADM）通过在变量上交替最小化和更新对偶变量来求解 MPEC。
• 利用凸初始化策略，提升非凸设置下的收敛性与解的质量。
• 通过精确惩罚法与 ADM 方案的严格分析，确保收敛至一阶 KKT 点。
• 集成一种快速断点搜索算法（MATLAB 实现），在 $O(n\log n)$ 时间内求解子问题。

实验结果

研究问题

• RQ1 基于 MPEC 的连续优化框架能否有效求解一般稀疏性约束问题，并保证收敛？
• RQ2 在 $̆_0$-约束最小化问题中，精确惩罚法与交替方向法在性能与收敛性方面如何比较？
• RQ3 MPEC 基础方法能否在多种应用中，同时在解的质量与稀疏性控制方面超越基于 IHT 的技术？
• RQ4 能否通过连续松弛技术，实现对非凸、$̆_0$-约束问题的 KKT 点收敛？
• RQ5 所提出的框架在真实世界问题（如脉冲噪声去除与分段回归）中的表现如何？

主要发现

• MPEC-EPM 与 MPEC-ADM 方法在脉冲噪声去除任务中实现了最先进性能，MPEC-ADM 在 'lenna' 图像上达到 SNR 0.96，优于 CVX（0.92）与 QPM（0.94）。
• 在 'blonde' 图像（90% 噪声）上，MPEC-ADM 达到 SNR -0.45，优于 NI-ADM（-0.62）与 MD-ADM（-0.52）。
• 在特征选择与分段回归任务中，所提方法在二值化与稀疏优化场景下均持续优于基于 IHT 的技术。
• 精确惩罚法与交替方向法均收敛至一阶 KKT 点，首次为一般 $̆_0$-约束问题提供了此类收敛性保证。
• MPEC-ADM 方法在所有测试数据集（包括 'mandrill'、'jetplane' 与 'lake'）中表现卓越，其 SNR 值始终高于对比方法。
• 在 MATLAB 中实现的断点搜索算法可在 $O(n\log n)$ 时间内求解子问题，显著提升了 MPEC 框架中的计算效率。