[论文解读] Optimization over Nonnegative and Convex Polynomials With and Without Semidefinite Programming

Georgina Hall|arXiv (Cornell University)|Jun 19, 2018

Advanced Optimization Algorithms Research参考文献 136被引用 22

一句话总结

本文提出了无需半定规划（SDP）的新型方法，用于优化非负多项式与凸多项式，通过将半定规划替换为一系列线性或二阶锥规划。该研究首次建立了仅依赖多项式乘法与系数非负性检验的理论框架，以实现多项式优化问题的收敛下界，显著提升了计算速度，同时保持理论收敛性。

ABSTRACT

The problem of optimizing over the cone of nonnegative polynomials is a fundamental problem in computational mathematics, with applications to polynomial optimization, control, machine learning, game theory, and combinatorics, among others. A number of breakthrough papers in the early 2000s showed that this problem, long thought to be out of reach, could be tackled by using sum of squares programming. This technique however has proved to be expensive for large-scale problems, as it involves solving large semidefinite programs (SDPs). In the first part of this thesis, we present two methods for approximately solving large-scale sum of squares programs that dispense altogether with semidefinite programming and only involve solving a sequence of linear or second order cone programs generated in an adaptive fashion. We then focus on the problem of finding tight lower bounds on polynomial optimization problems (POPs), a fundamental task in this area that is most commonly handled through the use of SDP-based sum of squares hierarchies (e.g., due to Lasserre and Parrilo). In contrast to previous approaches, we provide the first theoretical framework for constructing converging hierarchies of lower bounds on POPs whose computation simply requires the ability to multiply certain fixed polynomials together and to check nonnegativity of the coefficients of their product. In the second part of this thesis, we focus on the theory and applications of the problem of optimizing over convex polynomials, a subcase of the problem of optimizing over nonnegative polynomials. (See manuscript for the rest of the abstract.)

研究动机与目标

• 为解决大规模多项式问题中和方表示优化的半定规划（SDP）计算瓶颈。
• 开发一种无需依赖SDP的构造多项式优化问题收敛下界层次的框架。
• 研究三次多项式凸性检测的复杂度及其对优化的影响。
• 将所提方法应用于机器人学、机器学习与计量经济学中的实际问题，包含单调性与凸性约束。

提出的方法

• 提出两种自适应的、无需SDP的算法，将大规模SDP替换为线性或二阶锥规划的序列。
• 开发一种新颖的多项式优化下界层次结构，仅依赖多项式乘法与系数非负性检验。
• 提出一种基于固定多项式乘积与系数符号分析的理论框架，用于构造收敛下界。
• 证明在盒子上测试三次多项式的凸性为NP难问题，确立了凸性检测的复杂度边界。
• 将Reznick的和方表示推广至正定双形式，用于在由凸形式生成的范数上构造SDP层次结构。
• 将该框架应用于机器人学（三维点云的最小体积多项式子水平集）与机器学习（单调与DC回归）。

实验结果

研究问题

• RQ1 我们能否在不求解半定规划的情况下，为多项式优化问题构造收敛的下界？
• RQ2 在盒子上测试三次多项式的凸性具有怎样的计算复杂度？
• RQ3 我们能否用更简单的非SDP求解器替代和方表示编程，同时保持收敛性与精度？
• RQ4 我们如何高效地对凸多项式及由凸形式生成的范数进行优化？
• RQ5 所提方法能否在实际问题中有效应用，如单调回归与运动规划？

主要发现

• 所提的SDP-free算法在运行时间上优于CAP与Fast CAP，其中度数为2的混合回归仅耗时0.24秒，而CAP需12.8秒。
• 表现最佳的单调约束多项式回归在个人贷款数据集上实现了平均测试均方根误差（RMSE）为4.09，标准误为0.20。
• 在周薪预测任务中，混合约束的二次多项式模型实现了250.0 ± 39.2的测试RMSE，显著优于CAP的385.7 ± 20.8。
• 证明在盒子上测试三次多项式的凸性为NP难问题，确立了该复杂度的最小次数边界。
• 该框架仅通过多项式乘法与系数非负性检验即可构造收敛下界，完全绕过SDP。
• 该方法成功重构了凸函数之差（DC）规划，使部分机器学习中最佳已知算法的求解速度显著提升。