[论文解读] On the Triality Theory in Global Optimization

David Yang Gao, Changzhi Wu|arXiv (Cornell University)|Apr 15, 2011

Advanced Optimization Algorithms Research参考文献 23被引用 20

一句话总结

本文通过典范对偶性，为一般无约束全局优化问题的对偶性理论提供了严格的数学证明。当原问题与对偶问题维度相同时，对偶性成立得非常强；否则，双极小对偶性以超对称形式弱成立，从而解决了自2003年以来长期悬而未决的问题，并可识别全局极小值、局部极小值、极大值及鞍点。

ABSTRACT

Triality theory is proved for a general unconstrained global optimization problem. The method adopted is simple but mathematically rigorous. Results show that if the primal problem and its canonical dual have the same dimension, the triality theory holds strongly in the tri-duality form as it was originally proposed. Otherwise, both the canonical min-max duality and the double-max duality still hold strongly, but the double-min duality holds weakly in a super-symmetrical form as it was expected. Additionally, a complementary weak saddle min-max duality theorem is discovered. Therefore, an open problem on this statement left in 2003 is solved completely. This theory can be used to identify not only the global minimum, but also the largest local minimum, maximum, and saddle points. Application is illustrated. Some fundamental concepts in optimization and remaining challenging problems in canonical duality theory are discussed.

研究动机与目标

• 解决自2003年以来未解决的关于对偶性理论中双极小对偶性的问题。
• 为一般无约束全局优化中的对偶性理论建立严格的数学基础。
• 证明当原问题与对偶问题维度相等时，对偶性以强形式成立，否则以超对称形式弱成立。
• 提出一个互补的弱鞍点极小-极大对偶定理，用于识别鞍点临界解。
• 将典范对偶性理论扩展至不仅识别全局极小值，还可识别最大局部极小值、极大值及鞍点。

提出的方法

• 通过二阶连续可微的非凸函数 W(x) = V(Λ(x)) 将一般全局优化问题表示为典范形式，其中 Λ(x) 为几何算子，V 为严格凸函数。
• 应用典范对偶性理论推导典范对偶问题，并利用间隙函数 G_ap(x, ζ) 分析对偶性间隙。
• 运用初等线性代数，在原问题与对偶问题维度不同的条件下，严格证明对偶性定理。
• 基于间隙函数 G_ap(x, ζ) 的符号，提出一个互补的弱鞍点极小-极大对偶定理。
• 利用间隙函数的黑塞矩阵 G(ζ̄) 分析临界点的极值性条件，特别关注其不定的情形。
• 通过应用实例验证理论结果，并讨论其在NP难问题及 S⁺_a 中典范对偶解中的意义。

实验结果

研究问题

• RQ1 当原问题与对偶问题维度相同时，对偶性理论是否以强形式成立？
• RQ2 当原问题与对偶问题维度不同时，双极小对偶性如何表现？
• RQ3 能否建立一个弱鞍点极小-极大对偶定理以识别鞍点临界解？
• RQ4 间隙函数 G_ap(x, ζ) 在判断鞍点存在性方面起什么作用？
• RQ5 当间隙函数的黑塞矩阵为不定时，临界点的极值性条件如何依赖于其黑塞矩阵？

主要发现

• 当原问题与对偶问题维度相等时，对偶性以三重对偶形式强成立。
• 当维度不同时，典范极小-极大对偶性与双极大对偶性均强成立，但双极小对偶性以超对称形式弱成立。
• 建立了互补的弱鞍点极小-极大对偶定理，表明当 G_ap(x, ζ) < 0 时，鞍点临界解存在。
• 通过严格的数学证明，完全解决了2003年关于双极小对偶性的开放问题。
• 该理论可识别非凸优化中的全局极小值、最大局部极小值、极大值及鞍点。
• 该方法可推广至约束全局优化问题，并为通过典范对偶性分析NP难问题提供理论框架。