[论文解读] Nonconvex Generalization of ADMM for Nonlinear Equality Constrained Problems

Junxiang Wang, Liang Zhao|arXiv (Cornell University)|May 9, 2017

Sparse and Compressive Sensing Techniques参考文献 41被引用 16

一句话总结

本文提出 neADMM，一种新颖的通用 ADMM 框架，用于求解非线性等式约束优化问题，利用变分不等式框架建立收敛性与次线性收敛速率保证。该方法引入一种自适应惩罚参数更新策略，并在矩阵补全和稀疏学习等多种应用中展现出有效性。

ABSTRACT

The growing demand on efficient and distributed optimization algorithms for large-scale data stimulates the popularity of Alternative Direction Methods of Multipliers (ADMM) in numerous areas, such as compressive sensing, matrix completion, and sparse feature learning. While linear equality constrained problems have been extensively explored to be solved by ADMM, there lacks a generic framework for ADMM to solve problems with nonlinear equality constraints, which are common in practical application (e.g., orthogonality constraints). To address this problem, in this paper, we proposed a new generic ADMM framework for handling nonlinear equality constraints, called neADMM. First, we propose the generalized problem formulation and systematically provide the sufficient condition for the convergence of neADMM. Second, we prove a sublinear convergence rate based on variational inequality framework and also provide an novel accelerated strategy on the update of the penalty parameter. In addition, several practical applications under the generic framework of neADMM are provided. Experimental results on several applications demonstrate the usefulness of our neADMM.

研究动机与目标

• 解决在实际应用中常见的非线性等式约束问题（如正交性约束）缺乏通用 ADMM 框架的问题。
• 建立一种广义问题形式化，将 ADMM 扩展至非线性等式约束。
• 为所提出的 neADMM 算法提供收敛性的充分条件。
• 利用变分不等式框架证明次线性收敛速率。
• 设计一种加速惩罚参数更新策略，以提升收敛性能。

提出的方法

• 提出一种广义优化形式化，将非线性等式约束整合进 ADMM 框架。
• 引入基于变分不等式的分析，推导出 neADMM 收敛性的充分条件。
• 利用变分不等式框架，建立算法的次线性收敛速率 O(1/k)。
• 设计一种自适应惩罚参数更新策略，加速收敛，且无需线搜索。
• 将惩罚参数更新规则集成至标准 ADMM 更新步骤中，以在保持收敛性的同时提升实际性能。
• 通过保持 ADMM 的可分解性，确保方法适用于大规模与分布式优化。

实验结果

研究问题

• RQ1 能否开发一种通用 ADMM 框架，以处理超越线性情况的非线性等式约束？
• RQ2 在应用于非线性约束问题时，ADMM 的收敛性需要满足哪些充分条件？
• RQ3 在非线性约束下，所提出的 neADMM 的理论收敛速率是多少？
• RQ4 如何自适应地更新惩罚参数，以在不牺牲收敛性保证的前提下提升收敛速度？
• RQ5 neADMM 在涉及非线性约束（如正交性或低秩约束）的实际应用中表现如何？

主要发现

• neADMM 框架为使用 ADMM 求解非线性等式约束优化问题提供了一种通用且系统化的方法。
• 理论分析证实，在基于变分不等式理论推导出的一组充分条件下，算法具有收敛性。
• 建立了 O(1/k) 的次线性收敛速率，表明算法具有全局收敛性，且迭代过程中误差持续减小。
• 所提出的自适应惩罚参数更新策略在实践中显著提升了收敛速度，优于固定或启发式更新方式。
• 在矩阵补全与稀疏特征学习等应用中的实验结果表明，neADMM 具有高效性与鲁棒性。
• 该框架适用于涉及非线性约束的广泛现实世界问题，如信号处理与机器学习中的各类问题。