[论文解读] Parallelizing the dual revised simplex method

Q. Huangfu, J. A. J. Hall|arXiv (Cornell University)|Mar 6, 2015

Advanced Optimization Algorithms Research参考文献 14被引用 11

一句话总结

本论文提出两种新型并行对偶简约单纯形求解器——PAMI 和 SIP，专为标准桌面架构上的大规模稀疏线性规划问题而设计。PAMI 通过在多个单纯形迭代间利用基于子优化的并行性，并采用 0.95 的截止阈值以保持单纯形枢轴质量，实现了平均 1.51 倍的加速，优于领先的开源求解器 Clp；SIP 实现单次迭代内的并行性，与 PAMI 互补，尤其在 PAMI 速度下降时表现突出，两者结合在关键基准测试中达到与 CPLEX 相当的性能。

ABSTRACT

This paper introduces the design and implementation of two parallel dual simplex solvers for general large scale sparse linear programming problems. One approach, called PAMI, extends a relatively unknown pivoting strategy called suboptimization and exploits parallelism across multiple iterations. The other, called SIP, exploits purely single iteration parallelism by overlapping computational components when possible. Computational results show that the performance of PAMI is superior to that of the leading open-source simplex solver, and that SIP complements PAMI in achieving speedup when PAMI results in slowdown. One of the authors has implemented the techniques underlying PAMI within the FICO Xpress simplex solver and this paper presents computational results demonstrating their value. This performance increase is sufficiently valuable for the achievement to be used as the basis of promotional material by FICO. In developing the first parallel revised simplex solver of general utility and commercial importance, this work represents a significant achievement in computational optimization.

研究动机与目标

• 开发一种通用、具备商业可行性的并行对偶简约单纯形求解器，适用于标准多核桌面架构上的大规模稀疏线性规划问题。
• 克服长期以来在简约单纯形方法中实现可扩展加速的挑战，这类方法因固有的顺序性与计算瓶颈，传统上被认为不适合并行化。
• 设计并实现两种互补的并行化策略——PAMI 和 SIP——分别利用不同形式的并行性，同时保持数值稳定性和枢轴质量。
• 证明对偶简约单纯形方法的高效并行化不仅可行，而且具有商业影响力，该结论通过集成到 FICO Xpress 并用于宣传材料得到验证。

提出的方法

• PAMI（多轮次并行化）采用子优化枢轴策略，实现多个单纯形迭代间的并行性，通过动态截止因子（0.95）保持枢轴质量，防止退化引起的性能下降。
• SIP（单轮次并行化）通过重叠稀疏矩阵-向量乘法（spmv）、分解（ftran）和对偶更新操作等计算组件，在单个单纯形迭代内实现细粒度、数据并行执行。
• 两种求解器均基于高性能顺序对偶单纯形求解器（hsol），该求解器集成了稀疏 LU 分解、超稀疏线性系统求解、高效的 LU 更新技术，以及先进的枢轴规则（如对偶最陡边 DSE 和边界翻转比率测试 BFRT）。
• 实现针对标准桌面多核架构，避免依赖专用高性能硬件，以确保广泛适用性和实际可用性。
• 通过一组多样化的大型稀疏 LP 问题基准集评估性能，与 Clp（最佳开源求解器）、CPLEX（行业标准商业求解器）以及集成技术后的 FICO Xpress 求解器进行比较。
• 设计强调内存访问聚合与负载均衡，以最小化并行执行中的开销，特别是在不规则稀疏矩阵操作的背景下。

实验结果

研究问题

• RQ1 尽管对偶简约单纯形方法具有固有的顺序性且依赖稀疏矩阵运算，是否仍可通过并行化实现有意义的加速？
• RQ2 使用子优化作为枢轴策略是否能有效实现跨多个迭代的并行性，而不牺牲枢轴质量或收敛速度？
• RQ3 通过任务级重叠实现的单轮次并行化（SIP）是否能作为 PAMI 等多轮次方案的可行、互补替代方案，尤其在 PAMI 产生开销或出现性能下降时？
• RQ4 研究级并行单纯形实现能在多大程度上匹配或超越成熟商业求解器（如 CPLEX）在真实世界稀疏 LP 问题中的性能？
• RQ5 将这些技术集成到商业求解器（FICO Xpress）中，是否能带来可衡量的、具有商业意义的性能提升，如通过广告和基准测试中的采用得到证实？

主要发现

• PAMI 在测试集上实现了平均 1.51 倍的加速，优于当前最佳的开源单纯形求解器 Clp，证明对偶简约单纯形方法的并行化可带来显著性能提升。
• SIP 实现了平均 1.15 倍的加速，虽低于 PAMI，但常能与 PAMI 互补，在 PAMI 出现性能下降的问题上提供加速，如 Linf_520c（加速 1.31）和 maros-r7（加速 1.12）。
• PAMI 和 SIP 中性能更优者的表现，在多数测试问题上与 CPLEX 12.4 相当或更优，尤其在禁用预处理和快速启动（crash）时，表明其与领先商业求解器具有强大竞争力。
• PAMI 的性能受限于 ftran-dse（对偶最陡边分解）在计算流水线中的主导地位——该操作占运行时间的 80% 以上，而其他组件（spmv、chuzc、update-dual）合计贡献不足 5%，凸显 ftran-dse 为主要性能瓶颈。
• 将 PAMI 和 SIP 技术集成到 FICO Xpress 求解器中，带来了具有商业意义的性能提升，FICO 公开宣布该成果并用于广告和博客宣传，证实了本研究的实际影响。
• Mittelmann 的独立基准测试确认，集成这些技术后的 Xpress 求解器在性能上匹配或超过 CPLEX 的串行性能，即使在启用预处理和快速启动的情况下，验证了该方法的稳健性与可扩展性。