[论文解读] On the Finite Number of Directional Stationary Values of Piecewise Programs

Ying Cui, Jong‐Shi Pang|arXiv (Cornell University)|Mar 1, 2018

Optimization and Variational Analysis参考文献 27被引用 7

一句话总结

本文证明了某些非凸分段二次规划（包括最小二乘分段仿射回归问题）仅具有有限个方向驻点值。通过利用目标函数的分段线性-二次结构并应用次微分分析，作者证明了每个方向驻点均为局部极小化点，从而在非单调的下降算法中确保目标函数值的序列收敛。

ABSTRACT

Extending a fundamental result for (indefinite) quadratic programs, this paper shows that certain non-convex piecewise programs have only a finite number of directional stationary values, and thus, possess only finitely many locally minimum values. We present various special cases of our main results, in particular, an application to a least-squares piecewise affine regression problem for which every directional stationary point is locally minimizing.

研究动机与目标

• 解决线性约束分段二次规划是否仅有有限个方向驻点值的问题。
• 将经典 Luo-Tseng 关于不定二次规划的结果推广至更广泛的非凸、不可微分分段规划类别。
• 建立方向驻点为局部极小化点的条件，特别是在最小二乘分段仿射回归中的情形。
• 为非凸分段规划迭代算法中目标函数值的序列收敛性提供理论基础。
• 对一般分段规划中有限方向驻点值这一开放问题提供部分解答，完整解决仍为一个猜想。

提出的方法

• 通过最大值之差表示法分析分段二次（PQ）函数：ψ(x) = max_i (a_i^T x + α_i) - max_j (b_j^T x + β_j)。
• 利用正规次微分 b∂ψ(¯x) 和法锥条件，通过方向次微分分析定义 d-平稳性。
• 利用最小二乘分段仿射回归中目标函数的分段线性-二次（PLQ）性质，建立有限 d-平稳值。
• 应用随机规划中的结果，特别是完全补救假设与补救矩阵的共正定性，证明在两阶段随机二次规划中存在有限 d-平稳值。
• 采用凸上界逼近-最小化算法结合半光滑牛顿法计算 d-平稳点，确保收敛至局部极小解。

实验结果

研究问题

• RQ1 线性约束分段二次规划是否仅有有限个方向驻点值？
• RQ2 在何种条件下，分段规划的每个方向驻点均为局部极小化点？
• RQ3 在非凸补救的两阶段随机二次规划中，能否保证方向驻点值为有限？
• RQ4 分段仿射回归的结构是否导致有限 d-平稳值，并确保迭代算法中目标函数值的序列收敛？
• RQ5 分段线性-二次函数的和与复合是否保持有限 d-平稳值性质？

主要发现

• 具有多面体可行集的分段二次规划的方向驻点值集合是有限的，将 Luo-Tseng 结果从二次规划扩展至分段二次规划。
• 在最小二乘分段仿射回归中，每个方向驻点均为局部极小化点，确保迭代算法收敛至局部最优解。
• 最小二乘分段仿射回归问题的目标函数为分段线性-二次函数，保证了有限方向驻点值。
• 对于具有完全补救和共正定补救矩阵的两阶段随机二次规划，方向驻点值集合是有限的。
• 由于有限方向驻点值的存在，即使目标函数值序列非单调，分段规划的上界逼近-最小化算法中目标函数值的收敛性仍可得到保证。