[论文解读] Relax-and-split method for nonsmooth nonconvex problems

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|Feb 7, 2018

Advanced Optimization Algorithms Research参考文献 45被引用 8

一句话总结

本文提出了一种新颖的松弛-分裂（RS）方法，用于求解涉及线性映射和可分非凸函数的非光滑、非凸复合优化问题。通过引入辅助变量对原问题进行松弛，并应用部分最小化，RS 方法即使在问题不具备弱凸性时，也能通过快速迭代方法高效求解，并自然扩展至剪裁形式，实现鲁棒异常值检测，且保证收敛性与优异性能。

ABSTRACT

We develop and analyze a new `relax-and-split' (RS) approach for compositions of separable nonconvex nonsmooth functions with linear maps. RS uses a relaxation technique together with partial minimization, and brings classic techniques including direct factorization, matrix decompositions, and fast iterative methods to bear on nonsmooth nonconvex problems. We also extend the approach to trimmed nonconvex-composite formulations; the resulting Trimmed RS (TRS) can fit models while detecting outliers in the data. We then test RS and TRS on a diverse set of applications: (1) phase retrieval, (2) stochastic shortest path problems, (3) semi-supervised classification, and (4) new clustering approaches. RS/TRS can be applied to models with very weak functional assumptions, are easy to implement, competitive with existing methods, and enable a new level of modeling formulations to be put forward to address emerging challenges in the mathematical sciences.

研究动机与目标

• 解决在标准方法因缺乏凸性或光滑性而失效时，非光滑、非凸优化问题的挑战，尤其在功能性假设较弱的情况下。
• 开发一种灵活的框架，利用松弛与部分最小化，将复杂非凸项与线性映射解耦，实现高效的算法处理。
• 将该方法扩展至剪裁形式，以检测并降低数据中异常值的影响，提升实际应用中的鲁棒性。
• 通过支持非凸、非光滑函数且无需弱凸性假设，为数据科学中的新兴问题提供新的建模能力。
• 在相位恢复、半监督学习、随机最短路径以及带有非凸融合惩罚的聚类等多样化应用中，验证该方法的有效性。

提出的方法

• 通过引入辅助变量 $ w $，对非凸复合问题提出松弛形式，将 $ \text{min}_x h(Ax) + g(x) $ 转化为 $ \text{min}_{x,w} h(w) + \frac{1}{2\nu}\|Ax - w\|^2 + g(x) $，从而将线性映射与非凸函数解耦。
• 通过对 $ x $ 和 $ w $ 进行部分最小化，推导出一种交替最小化算法，其中每个子问题可简化为近端算子或最小二乘求解，实现快速且可扩展的更新。
• 通过引入二值权重 $ v_i $ 来抑制 $ m - \tau $ 个最大残差，实现剪裁扩展（TRS），并利用截断单纯形约束 $ v \in \triangle_\tau $ 保证对异常值的鲁棒性。
• 通过将各类应用映射为标准形式 $ f(x) = h(Ax) + g(x) $，其中 $ h $ 为非凸且非光滑，$ g $ 为凸或零，将 RS 框架应用于多种场景。
• 在松弛子问题上利用经典数值工具（如 SVD、矩阵分解和迭代求解器），使方法具备实用性，并可与现有软件无缝集成。
• 通过利用松弛结构与部分最小化，即使 $ h $ 不具备弱凸性，也能在较弱假设下保证 RS 算法的收敛性。

实验结果

研究问题

• RQ1 是否可以开发一种基于松弛的方法，求解现有次梯度或近端方法无法处理的非光滑、非凸复合问题？
• RQ2 如何将松弛-分裂方法扩展以处理异常值污染的数据？剪裁对收敛性和解的质量有何影响？
• RQ3 在使用非凸正则化时，RS 方法相较于 ADMM 等成熟求解器，在收敛速度和鲁棒性方面有多大的性能优势？
• RQ4 RS 框架能否在相位恢复、半监督分类和随机最短路径等实际问题中，以最小的建模假设实现有效应用？
• RQ5 与凸替代方案相比，使用非凸融合惩罚（如 SCAD 类）在聚类中的优势是什么？其对聚类分离效果和调参敏感性有何影响？

主要发现

• 松弛-分裂（RS）方法在非凸、非光滑问题上实现收敛，即使问题不满足弱凸性，其适用范围已超越现有次梯度方法。
• 在聚类中使用非凸 SCAD 类融合惩罚时，RS 算法的收敛速度优于 ADMM，且非凸情形展现出更优的局部聚类行为，对全局参数调优的敏感性更低。
• 在存在异常值污染的相位恢复问题中，剪裁 RS（TRS）形式能有效检测并降低异常值影响，提升鲁棒性，同时不损失解的精度。
• 在半监督分类中，RS 方法通过在未标记样本上鼓励大间隔，有效利用未标记数据，在噪声环境下优于标准逻辑回归。
• 在随机最短路径问题中，RS 方法通过分段线性正则化，高效求解非凸贝尔曼方程形式，实现最优策略计算。
• 该方法通过支持非凸融合惩罚，为聚类提供了新的建模灵活性，可防止全局聚类坍塌，实现更可解释、更局部化的聚类结构。