[论文解读] Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets

C. H. Jeffrey Pang|arXiv (Cornell University)|Jun 27, 2015

Advanced Optimization Algorithms Research参考文献 32被引用 3

一句话总结

本文通过利用具有有利变分性质的超正则集（super-regular sets）——一种结构化的非凸集——将SHQP（支持半空间与二次规划）策略从凸集推广至非凸集交集问题。在超正则性假设下，证明了SHQP方法的线性收敛性，并在问题几何结构与牛顿型方法一致时建立了超线性及二次收敛性，为非凸可行性问题提供了实用的加速框架。

ABSTRACT

The problem of finding a point in the intersection of closed sets can be solved by the method of alternating projections and its variants. It was shown in earlier papers that for convex sets, the strategy of using quadratic programming (QP) to project onto the intersection of supporting halfspaces generated earlier by the projection process can lead to an algorithm that converges multiple-term superlinearly. The main contributions of this paper are to show that this strategy can be effective for super-regular sets, which are structured nonconvex sets introduced by Lewis, Luke and Malick. Manifolds should be approximated by hyperplanes rather than halfspaces. We prove the linear convergence of this strategy, followed by proving that superlinear and quadratic convergence can be obtained when the problem is similar to the setting of the Newton method. We also show an algorithm that converges at an arbitrarily fast linear rate if halfspaces from older iterations are used to construct the QP.

研究动机与目标

• 将此前仅在凸集上有效的SHQP策略，通过超正则集推广至非凸设置。
• 在非凸设置下，为SHQP方法建立收敛性保证（线性、超线性、二次收敛）。
• 证明即使在非凸交集中，通过结合投影历史与二次规划，该方法仍可实现快速收敛。
• 提供算法策略，通过剔除过时的半空间或使用热启动技术，保持计算效率。

提出的方法

• 利用投影到超正则集上生成的支持半空间，构建交集的多面体逼近。
• 在每次迭代中，求解一个二次规划问题，将点投影到这些半空间的交集中，从而生成新的迭代点。
• 通过剔除较旧的半空间来维持数值稳定性和计算效率，并对QP求解器应用热启动技术。
• 算法结合交替投影与基于QP的精炼策略，使用回溯线搜索或活动集方法以确保收敛进展。
• 理论分析利用超正则性，确保在解附近投影能生成分离的半空间。
• 全局策略包括使用平均投影或避开先前迭代点附近的区域，以防止停滞。

实验结果

研究问题

• RQ1 SHQP策略在凸集上表现良好，能否推广至具有可证明收敛性的非凸超正则集？
• RQ2 在非凸设置下，SHQP方法在何种条件下可实现超线性或二次收敛？
• RQ3 如何管理支持半空间的数量，以在不过度增加计算成本的前提下实现快速收敛？
• RQ4 当问题为非凸且初始迭代点远离解时，可采用何种全局策略以维持收敛性？

主要发现

• 在较弱假设下，SHQP方法对超正则集实现线性收敛，推广了凸集情况下的收敛结果。
• 当问题几何结构与牛顿法相似时，SHQP方法可实现超线性甚至二次收敛。
• 若在QP子问题中保留较旧的半空间，可实现任意快的线性收敛。
• 通过保留部分旧半空间并结合热启动QP求解器，可维持效率并避免Maratos效应。
• 在非凸设置下，该方法优于标准交替投影，尤其在交集条件良好时表现更优。
• 数值实验表明，即使仅使用少量半空间，也能实现快速收敛，显示出良好的实际效率。