[论文解读] Preconditioning via Diagonal Scaling

Reza Takapoui, Hamid Javadi|arXiv (Cornell University)|Oct 12, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用 11

一句话总结

本文提出对角缩放预条件化方法，以降低一阶优化方法（如ADMM和共轭梯度）中矩阵的条件数，显著加速收敛。通过将矩阵平衡问题表述为凸优化问题，并使用Sinkhorn-Knopp和Ruiz等迭代算法，该方法实现了更快的线性代数运算和更少的迭代次数，实证结果表明在最优缩放下迭代次数最多可减少50%。

ABSTRACT

Interior point methods solve small to medium sized problems to high accuracy in a reasonable amount of time. However, for larger problems as well as stochastic problems, one needs to use first-order methods such as stochastic gradient descent (SGD), the alternating direction method of multipliers (ADMM), and conjugate gradient (CG) in order to attain a modest accuracy in a reasonable number of iterations. In this report, we first discuss heuristics for diagonal scaling. Next, we motivate preconditioning by an example, and then we study preconditioning for a specific splitting form in ADMM called graph projection splitting. Finally we examine the performance of our methods by some numerical examples.

研究动机与目标

• 通过降低输入矩阵的条件数，提升一阶优化方法（如ADMM和共轭梯度）的收敛速度。
• 通过矩阵平衡方法实现对角缩放，开发一种实用且计算高效的预条件化策略。
• 研究矩阵缩放和步长参数对基于ADMM求解器收敛速度的影响。
• 为对角预条件化的有效性提供理论和实证依据，以加速迭代求解器。

提出的方法

• 将矩阵平衡问题表述为凸优化问题，以最小化 $DAE$ 的条件数，其中 $D$ 和 $E$ 为对角缩放矩阵。
• 使用迭代算法——Sinkhorn-Knopp和Ruiz——并针对长方形矩阵进行修改，以计算 $D$ 和 $E$，使得 $DAE$ 的行和列具有平衡的 $\ell_p$ 范数。
• 在共轭梯度和ADMM求解器中应用预条件矩阵 $A' = DAE$，求解 $A'\tilde{x} = Db$，并恢复 $x = E^{-1}\tilde{x}$。
• 通过 $\beta/\alpha$（步长 $\rho$）和 $\beta\alpha$（缩放）引入自适应参数调优，以 $\|DAE\| = 1$ 作为最优性能的启发式方法。
• 采用无矩阵方法，避免显式访问矩阵，从而实现对大规模问题的可扩展性。
• 通过固定容差 $10^{-4}$ 的数值实验，在Lasso和线性规划问题上验证性能。

实验结果

研究问题

• RQ1 通过矩阵平衡实现的对角缩放能否在大规模一阶优化中显著降低矩阵的条件数？
• RQ2 不同平衡算法（Sinkhorn-Knopp和Ruiz）在降低条件数和改善收敛性方面表现如何比较？
• RQ3 在ADMM中，缩放参数 $\beta\alpha$ 和步长 $\rho = \beta/\alpha$ 对收敛速度有何影响？
• RQ4 预条件化是否同时提升了线性代数速度和迭代次数，还是仅提升其中之一？
• RQ5 启发式方法 $\|DAE\| = 1$ 是否能有效平衡收敛性与稳定性？

主要发现

• 通过Sinkhorn-Knopp和Ruiz算法实现的矩阵平衡，使测试实例中 $A$ 的条件数最多降低50%，显著加速了共轭梯度求解。
• 在Lasso问题中，最优缩放（$\|DAE\| = 1$）与自适应 $\rho = \beta/\alpha$ 的结合，使平均迭代次数相比未预条件化情况减少了约50%。
• 在线性规划问题中，预条件化使平均迭代次数最多减少40%，并使相对次优性和约束违反程度降低一个数量级以上。
• 启发式方法 $\|DAE\| = 1$ 在Lasso和LP问题中均一致地实现了更快收敛，优于任意缩放选择。
• 通过 $\beta/\alpha$ 实现的自适应步长调优，无需额外计算即可提升收敛速度，且无需因式分解或热启动开销。
• 尽管缺乏理论保证，迭代平衡方法在实证中表现出稳健性能，尽管在极少数情况下条件数略有上升。