[论文解读] Parameter Selection and Pre-Conditioning for a Graph Form Solver

Christopher Fougner, Stephen Boyd|arXiv (Cornell University)|Mar 28, 2015

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出了一种增强的参数选择与对角预条件化技术，用于图形式ADMM求解器，显著提升了收敛速度与鲁棒性。由此产生的POGS软件在大规模问题上实现了高性能——在数秒内求解了含有100M个系数的放射治疗问题，而内点法则需约1小时。

ABSTRACT

In a recent paper, Parikh and Boyd describe a method for solving a convex optimization problem, where each iteration involves evaluating a proximal operator and projection onto a subspace. In this paper we address the critical practical issues of how to select the proximal parameter in each iteration, and how to scale the original problem variables, so as the achieve reliable practical performance. The resulting method has been implemented as an open-source software package called POGS (Proximal Graph Solver), that targets multi-core and GPU-based systems, and has been tested on a wide variety of practical problems. Numerical results show that POGS can solve very large problems (with, say, more than a billion coefficients in the data), to modest accuracy in a few tens of seconds. As just one example, a radiation treatment planning problem with around 100 million coefficients in the data can be solved in a few seconds, as compared to around one hour with an interior-point method.

研究动机与目标

• 解决图形式ADMM求解器在参数选择与变量缩放方面的实际挑战，以确保可靠的性能表现。
• 通过新颖的参数选择与预条件化策略，提升基于ADMM的图形式求解器的收敛鲁棒性与效率。
• 开发一款面向多核与GPU架构的高性能、开源求解器（POGS），用于大规模凸优化问题。
• 在大规模问题上，特别是在放射治疗计划等实际应用中，显著超越传统内点法的性能表现。

提出的方法

• 采用基于ADMM的算法求解图形式凸优化问题，涉及邻近算子与图约束上的投影运算。
• 引入基于线搜索或启发式自适应的动态参数选择方法，用于近端参数ρ，以提升收敛速度。
• 应用对角预条件化技术对变量进行缩放，改善问题的条件性，从而增强数值稳定性与收敛性。
• 设计基于原始与对偶残差的改进型停止准则，以确保可靠的收敛检测。
• 将POGS设计为基于C++/CUDA的开源求解器，配备针对多核与GPU执行的优化内核。
• 利用问题特定的启发式方法设定初始参数值，并在迭代过程中动态调整，以平衡收敛速度与鲁棒性。

实验结果

研究问题

• RQ1 如何实现图形式ADMM中近端参数ρ的动态选择，以提升收敛速度与鲁棒性？
• RQ2 哪些预条件化策略能显著改善图形式ADMM在病态问题上的收敛行为？
• RQ3 通用型大规模凸优化求解器能否实现与内点法相当或更优的实际性能？
• RQ4 对角预条件化如何影响基于ADMM的图形式求解器的收敛速率与数值稳定性？
• RQ5 GPU加速与算法优化在多大程度上可使求解问题的规模达到内点法可处理范围的数个数量级？

主要发现

• POGS在数秒内求解了一个包含约100M个系数的放射治疗计划问题，而内点法需约1小时。
• 在内点法可处理的问题范围内，POGS实现了最高达100倍的加速比。
• POGS能够可靠求解数据矩阵A中系数超过十亿的大规模问题，展示了超越内点法极限的可扩展性。
• 动态参数选择与对角预条件化相结合，显著提升了多种问题族的收敛鲁棒性，并减少了迭代次数。
• 在逻辑回归、线性规划、非负最小二乘、投资组合优化与支持向量机等任务上的数值实验，均证实了性能的持续提升。
• 该算法在各类问题实例中表现出稳定且可预测的性能，包括高条件数与严重量纲不匹配的变量问题。