[论文解读] Successive Projection for Solving Systems of Nonlinear Equations/Inequalities

Wenjun Zeng, Jieping Ye|arXiv (Cornell University)|Dec 14, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用 5

一句话总结

本文提出了一种新颖的连续投影（Successive Projection, SP）框架，用于通过迭代投影到每个方程或不等式定义的约束集，求解大规模非线性方程与不等式系统。该工作首次在非线性、非凸设置下建立了SP方法的局部线性收敛性理论证明，收敛速率与雅可比矩阵的Hoffman常数相关，并提出了两种贪心变体，显著加速了收敛速度，超越了循环与随机化方法。

ABSTRACT

Solving large-scale systems of nonlinear equations/inequalities is a fundamental problem in computing and optimization. In this paper, we propose a generic successive projection (SP) framework for this problem. The SP sequentially projects the current iterate onto the constraint set corresponding to each nonlinear (in)equality. It extends von Neumann's alternating projection for finding a point in the intersection of two linear subspaces, Bregman's method for finding a common point of convex sets and the Kaczmarz method for solving systems of linear equations to the more general case of multiple nonlinear and nonconvex sets. The existing convergence analyses on randomized Kaczmarz are merely applicable to linear case. There are no theoretical convergence results of the SP for solving nonlinear equations. This paper presents the first proof that the SP locally converges to a solution of nonlinear equations/inequalities at a linear rate. Our work establishes the convergence theory of the SP for the case of multiple nonlinear and nonconvex sets. Besides cyclic and randomized projections, we devise two new greedy projection approaches that significantly accelerate the convergence. Furthermore, the theoretical bounds of the convergence rates are derived. We reveal that the convergence rates are related to the Hoffman constants of the Jacobian matrix of the nonlinear functions at the solution. Applying the SP to solve the graph realization problem, which attracts much attention in theoretical computer science, is discussed.

研究动机与目标

• 开发一种通用且可扩展的框架，用于求解优化、偏微分方程（PDEs）和信号处理中出现的大规模非线性方程与不等式系统。
• 将经典的投影方法（如Kaczmarz方法和von Neumann方法）推广至非线性和非凸情形。
• 首次为非线性、非凸设置下的连续投影方法建立理论收敛保证。
• 通过贪心选择策略设计SP的更快变体，以加速收敛。
• 基于问题的几何特性（特别是解点处雅可比矩阵的Hoffman常数）分析收敛速率。

提出的方法

• SP框架按顺序将当前迭代点依次投影到每个非线性（不）等式约束的可行集上。
• 该方法将von Neumann的交替投影法、Bregman方法以及Kaczmarz方法推广至非线性和非凸约束情形。
• 提出了三种变体：循环（CP）、随机（RP）以及两种贪心方法——贪心投影（GP）与归一化贪心投影（NGP），以提升收敛速度。
• 收敛性分析依赖于解点处非线性函数雅可比矩阵的Hoffman常数。
• 推导出收敛速率的理论界，表明收敛为线性，且速率取决于雅可比矩阵的谱性质与范数性质。
• 该框架被应用于相位恢复与图实现问题，在数值实验中表现出快速收敛。

实验结果

研究问题

• RQ1 能否为非线性方程与不等式系统理论证明连续投影方法的收敛性？
• RQ2 在非线性、非凸设置下，连续投影的收敛速率如何？其与问题结构的关系是什么？
• RQ3 能否通过约束的贪心选择策略，使连续投影的收敛速度超越循环与随机化方案？
• RQ4 雅可比矩阵的Hoffman常数与SP方法的收敛速率有何关联？
• RQ5 SP框架能否在相位恢复与图实现等实际问题中有效应用，并具备可证明的收敛性？

主要发现

• SP方法在非线性方程/不等式系统中实现局部线性收敛，首次为这一广义的非线性、非凸情形提供了理论证明。
• 收敛速率受解点处雅可比矩阵Hoffman常数的因子约束，且针对不同SP变体推导出更紧的界。
• 贪心投影（GP）与归一化贪心投影（NGP）变体在所有SP变体中收敛速度最快，显著优于CP与RP。
• 所有SP变体的迭代复杂度为O(log(1/η))，以达到η-精度，证实了线性收敛性。
• 相位恢复与圆方程的数值结果表明，所有SP变体均线性收敛，其中GP与NGP收敛最快，且优于Wirtinger Flow与Gerchberg-Saxton等标准方法。
• 收敛速率依赖于约束的几何结构，通过解点处雅可比矩阵的Hoffman常数量化，将收敛性与局部问题条件性联系起来。