[论文解读] Operator Splitting for Conic Optimization via Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu+2 more|arXiv (Cornell University)|Dec 11, 2013

Advanced Optimization Algorithms Research被引用 30

一句话总结

本文提出一种基于同质自对偶嵌入的首阶算子分裂方法，用于求解大规模凸锥规划问题。通过将问题重 formulation 为可行性问题，并应用交替方向乘子法（ADMM），该方法可同时计算原始和对偶解，或不可行性/无界性的证书，无需参数调节，且每轮迭代的计算成本低于传统首阶方法，能高效扩展至极大规模问题。

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

研究动机与目标

• 解决内点法在大规模凸锥规划问题中可扩展性受限的问题。
• 开发一种首阶方法，可同时提供原始和对偶解，或不可行性/无界性证书。
• 确保方法无参数调节，且每轮迭代的计算成本保持较低。
• 实现对包含非负锥、第二类锥、半定锥、指数锥和幂锥等各类问题的高效求解。

提出的方法

• 将锥规划问题重述为同质自对偶嵌入形式，将其转化为子空间与锥交集上的可行性问题。
• 应用交替方向乘子法（ADMM）求解嵌入后的可行性问题。
• 根据问题结构，使用直接法或迭代法计算到子空间的投影。
• 对问题数据进行缩放，以改善条件数并加速收敛。
• 停止准则基于从同质自对偶解中导出的原始和对偶不可行性度量。
• 开源实现支持对称锥（如第二类锥、半定锥）及其对偶，以及非自对偶锥（如指数锥、幂锥）及其对偶。

实验结果

研究问题

• RQ1 能否设计一种首阶方法，在保持精度与鲁棒性的同时，高效求解大规模锥规划问题？
• RQ2 如何设计单一算法，同时恢复原始和对偶解，或不可行性/无界性证书？
• RQ3 数据缩放与投影计算对方法收敛性与性能的影响如何？
• RQ4 在实际大规模问题中，该方法与内点求解器相比表现如何？
• RQ5 该方法能否高效实现于非自对偶锥（如指数锥与幂锥）？

主要发现

• 该方法在大规模锥规划问题上相比内点求解器实现了显著的速度提升，展现出优越的可扩展性。
• 在问题可行时，能成功计算原始和对偶解；在适用时，可提供不可行性/无界性证书。
• 每轮迭代的计算成本等价于单独对原始或对偶问题应用分裂方法，计算效率高。
• 该方法无参数调节，无需调整步长等参数。
• 数值结果证实，该方法在各类锥类型中均表现出稳健性能，包括指数锥与幂锥等非自对偶锥。
• 开源实现支持广泛的锥类型，并能有效扩展至极大规模问题。