[论文解读] Practical Large-Scale Linear Programming using Primal-Dual Hybrid Gradient

David Applegate, Mateo Díaz+5 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Optimization Algorithms Research被引用 16

一句话总结

该论文提出PDLP，一种用于大规模线性规划的实用一阶方法，基于原始-对偶混合梯度（PDHG）框架，并引入自适应重启、动态步长、对角预条件化和预处理等改进。PDLP在383个MIPLIB 2017实例上比SCS快6.3倍，实现高达10⁻⁸的相对最优性精度，且在某些大规模问题上优于商业求解器，证明了一阶方法在传统LP工作负载中的可行性。

ABSTRACT

We present PDLP, a practical first-order method for linear programming (LP) that can solve to the high levels of accuracy that are expected in traditional LP applications. In addition, it can scale to very large problems because its core operation is matrix-vector multiplications. PDLP is derived by applying the primal-dual hybrid gradient (PDHG) method, popularized by Chambolle and Pock (2011), to a saddle-point formulation of LP. PDLP enhances PDHG for LP by combining several new techniques with older tricks from the literature; the enhancements include diagonal preconditioning, presolving, adaptive step sizes, and adaptive restarting. PDLP improves the state of the art for first-order methods applied to LP. We compare PDLP with SCS, an ADMM-based solver, on a set of 383 LP instances derived from MIPLIB 2017. With a target of $10^{-8}$ relative accuracy and 1 hour time limit, PDLP achieves a 6.3x reduction in the geometric mean of solve times and a 4.6x reduction in the number of instances unsolved (from 227 to 49). Furthermore, we highlight standard benchmark instances and a large-scale application (PageRank) where our open-source prototype of PDLP, written in Julia, outperforms a commercial LP solver.

研究动机与目标

• 通过引入实用的算法技术增强PDHG，弥合理论一阶方法与实际LP求解器之间的性能差距。
• 证明一阶方法可实现传统LP应用所需的高精度，而不仅限于机器学习中的中等精度。
• 仅通过矩阵-向量乘法实现超大规模LP问题的可扩展求解，适用于多核CPU、GPU和分布式系统。
• 通过消融研究评估各项算法改进（如自适应重启、预条件化）对整体性能的影响。
• 展示一阶方法在PageRank等真实世界和大规模应用中可与商业求解器竞争。

提出的方法

• 将线性规划表述为鞍点问题，并应用依赖于矩阵-向量乘法而非矩阵分解的PDHG方法。
• 基于对偶间隙和原-对偶距离提出自适应重启，以缓解一阶方法中常见的尾部衰减现象。
• 采用Malitsky-Pock规则进行动态步长选择，提升收敛速度，且无需针对具体问题进行调参。
• 通过Ruiz和Pock-Chambolle重标定方法实施对角预条件化，改善条件数并加速收敛。
• 集成全面的预处理流水线，在求解前减小问题规模并改善数值条件。
• 采用混合方法，结合原变量权重更新与间隙-距离度量，指导重启决策。

实验结果

研究问题

• RQ1 能否通过改进使一阶方法（如PDHG）达到传统LP应用所需的高精度？
• RQ2 自适应重启、动态步长和预条件化在大规模LP问题上对PDHG性能的综合影响如何？
• RQ3 一阶方法是否能在特定大规模或结构化问题上超越成熟的商业LP求解器？
• RQ4 各项算法改进（如预处理、预条件化）对整体性能的相对贡献是什么？
• RQ5 PDLP能否在单纯形法或内点法因内存或分解限制而无法处理的大规模问题上实现有效扩展？

主要发现

• 在383个MIPLIB 2017 LP实例中，PDLP在1小时内将283个问题求解至10⁻⁸的相对最优性精度，而基线PDHG方法仅求解了50个。
• 与基于ADMM的SCS相比，PDLP将几何平均求解时间减少6.3倍，未求解实例数从227个降至49个。
• 在大规模PageRank问题上，PDLP优于Gurobi的障碍法和单纯形法，求解更快且精度更高。
• 消融研究显示，自适应重启和对角预条件化各自对性能有显著贡献，两者结合效果最佳。
• PDLP仅依赖矩阵-向量乘法，因此可在多线程CPU、GPU和分布式集群上高效扩展，而单纯形法和内点法不具备此特性。
• PDLP的开源Julia实现表明，一阶方法现在可在特定类别的大规模LP问题上与商业求解器竞争。