[论文解读] Penalty Methods for Constrained Non-Lipschitz Optimization

Xiaojun ChenZhaosong Lu, Ting Kei Pong|arXiv (Cornell University)|Jan 1, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 3

一句话总结

本文提出了一种用于带约束的非利普希茨优化的惩罚方法，适用于非凸目标函数和由多面体及椭球约束定义的凸可行集。该方法建立了局部极小化点、驻点和ε-极小化点的精确惩罚，并提出了一种具有自适应惩罚更新的收敛非单调近 proximal 梯度算法，有效用于寻找稀疏解。

ABSTRACT

We consider a class of constrained optimization problems with a possibly nonconvex non-Lipschitz objective and a convex feasible set being the intersection of a polyhedron and a possibly degenerated ellipsoid. Such a problem has a wide range of applications in data science, where the objective is used for inducing sparsity in the solutions while the constraint set models the noise tolerance and incorporates other prior information for data tting. To solve this kind of constrained optimization problems, a common approach is the penalty method. However, there is little theory on exact penalization for problems with nonconvex non-Lipschitz objectives. In this paper, we study the existence of exact penalty parameters regarding local minimizers, stationary points and -minimizers under suitable assumptions. Moreover, we discuss a penalty method whose subproblems are solved via a nonmonotone proximal gradient method with a suitable update scheme for the penalty parameters, and prove the convergence of the algorithm to a KKT point of the constrained problem. Preliminary numerical results demonstrate the eciency of the penalty method for nding sparse solutions.

研究动机与目标

• 为解决数据科学中常见以诱导稀疏性为目标的非凸、非利普希茨目标函数与凸可行集的带约束优化问题。
• 建立在何种理论条件下，精确惩罚参数存在于局部极小化点、驻点和ε-极小化点。
• 开发一种实用算法，通过采用自适应惩罚参数更新的非单调近 proximal 梯度法求解子问题。
• 证明该算法可收敛至原始约束问题的KKT点。
• 通过初步数值实验，展示该方法在计算稀疏解方面的高效性。

提出的方法

• 该方法采用惩罚公式，将原始约束问题转化为一系列使用惩罚项的无约束子问题。
• 通过合适的策略自适应更新惩罚参数，以确保收敛性，且无需要求目标函数单调下降。
• 子问题通过非单调近 proximal 梯度法求解，增强了在非凸设置下的鲁棒性与收敛性。
• 理论分析在适当假设下建立了精确惩罚参数的存在性，确保惩罚问题的解与原始问题的解一致。
• 该算法被设计为即使在目标函数非利普希茨且非凸的情况下，也能收敛至原始约束问题的KKT点。
• 可行集建模为一个多面体与一个可能退化的椭球的交集，以捕捉数据拟合中的噪声容忍度和先验信息。

实验结果

研究问题

• RQ1 在何种条件下，非利普希茨、非凸优化问题在具有凸约束时，其局部极小化点存在精确惩罚参数？
• RQ2 能否在该类问题中为驻点和ε-极小化点建立精确惩罚？
• RQ3 采用自适应惩罚参数更新的非单调近 proximal 梯度法是否能收敛至此类问题的KKT点？
• RQ4 所提出的惩罚方法在数据科学应用中计算稀疏解方面的有效性如何？
• RQ5 在非利普希茨和非凸目标函数下，该算法的收敛性可提供哪些理论保证？

主要发现

• 在适当假设下，本文建立了局部极小化点、驻点和ε-极小化点的精确惩罚参数的存在性。
• 所提出的具有自适应惩罚参数更新的惩罚方法可收敛至原始约束问题的KKT点。
• 子问题中使用的非单调近 proximal 梯度法即使在非凸性和非利普希茨行为下也能确保收敛。
• 初步数值结果证实了该方法在识别稀疏解方面的高效性。
• 理论框架将精确惩罚扩展至非利普希茨、非凸设置，此前该领域在文献中尚未充分发展。
• 该方法有效处理了作为多面体与可能退化的椭球交集的约束，实现了噪声容忍度和先验信息的整合。