[论文解读] Sparse Polynomial Optimization: Theory and Practice

Victor Magron, Jie Wang|arXiv (Cornell University)|Aug 23, 2022

Advanced Optimization Algorithms Research被引用 6

一句话总结

本文提出了一套全面的框架，利用相关性稀疏性和项稀疏性来增强求解多项式优化问题（POPs）的可扩展性和效率。通过将稀疏矩-SOS层级与弦图稀疏性及低秩矩阵分解相结合，该方法能够在控制、量子信息和深度学习等大规模问题中实现高精度求解，并在各类基准测试中显著提升计算速度和内存使用效率。

ABSTRACT

The problem of minimizing a polynomial over a set of polynomial inequalities is an NP-hard non-convex problem. Thanks to powerful results from real algebraic geometry, one can convert this problem into a nested sequence of finite-dimensional convex problems. At each step of the associated hierarchy, one needs to solve a fixed size semidefinite program, which can be in turn solved with efficient numerical tools. On the practical side however, there is no-free lunch and such optimization methods usually encompass severe scalability issues. Fortunately, for many applications, we can look at the problem in the eyes and exploit the inherent data structure arising from the cost and constraints describing the problem, for instance sparsity or symmetries. This book presents several research efforts to tackle this scientific challenge with important computational implications, and provides the development of alternative optimization schemes that scale well in terms of computational complexity, at least in some identified class of problems. The presented algorithmic framework in this book mainly exploits the sparsity structure of the input data to solve large-scale polynomial optimization problems. We present sparsity-exploiting hierarchies of relaxations, for either unconstrained or constrained problems. By contrast with the dense hierarchies, they provide faster approximation of the solution in practice but also come with the same theoretical convergence guarantees. Our framework is not restricted to static polynomial optimization, and we expose hierarchies of approximations for values of interest arising from the analysis of dynamical systems. We also present various extensions to problems involving noncommuting variables, e.g., matrices of arbitrary size or quantum physic operators.

研究动机与目标

• 通过利用结构稀疏性，解决大规模多项式优化问题（POPs）的计算不可行性。
• 开发高效的矩-SOS层级，利用相关性稀疏性和项稀疏性以降低计算复杂度。
• 为鲁棒性认证、稳定性分析和量子贝尔不等式等实际应用提供实用的算法与软件工具。
• 将稀疏优化扩展至非交换设置，包括迹多项式和联合谱半径计算。
• 提供基于MATLAB和Julia的开源实现，以实现可复现且可扩展的计算。

提出的方法

• 本文提出CS-TSSOS层级，结合相关性稀疏性（CS）与项稀疏性（TS），以减小半定规划（SDPs）的规模。
• 采用弦图稀疏模式与稀疏矩/局部化矩阵，将大型SDPs分解为更小的独立子问题。
• 通过使用稀疏SOS松弛与单项式基约简，以及最小初始松弛步骤，提升效率。
• 在非交换优化中，通过GNS构造与稀疏表示，将框架扩展至迹多项式与非交换矩矩阵。
• 集成一阶SDP求解器与基于二分法的算法，用于联合谱半径（JSR）计算，并保证收敛性。
• 通过TSSOS、NCTSSOS、SparseJSR与SparseDynamicSystem等Julia库实现端到端应用部署。

实验结果

研究问题

• RQ1 如何联合利用相关性稀疏性与项稀疏性，以减小多项式优化中矩-SOS松弛的规模？
• RQ2 稀疏SDP公式对大规模POPs全局优化的收敛性与准确性有何影响？
• RQ3 稀疏矩-SOS层级能否有效扩展至非交换多项式优化与量子信息问题？
• RQ4 在深度神经网络鲁棒性与电力系统潮流优化等实际应用中，稀疏松弛与密集公式在性能与可扩展性方面有何比较？
• RQ5 最小初始松弛与弦图扩展在实现高效且精确求解中起到何种作用？

主要发现

• CS-TSSOS层级实现了全局收敛，并显著减小了SDP规模，使此前不可行的POPs得以求解。
• 在联合谱半径（JSR）问题中，SparseJSR算法在松弛阶数r=2时，相较于密集方法实现了20%-50%的加速。
• 在深度学习鲁棒性认证中，该方法以更低的内存消耗计算出更紧的Lipschitz界，优于标准SOS松弛。
• 对于非交换贝尔不等式，NCTSSOS框架计算出第一个不等式的上界为-13.7333，第二个为-13.7393，与已知理论值一致。
• 使用最小弦图扩展（TS="MD"）相比最大扩展，SDP规模最多减少40%，显著提升可扩展性。
• Julia中的TSSOS与NCTSSOS求解器在Max-Cut与最优潮流等基准测试中，速度最高提升10倍，内存节省超过50%。