[论文解读] Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions

Michael Zibulevsky|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 4

一句话总结

本文提出顺序子空间优化（SESOP）作为一种框架，通过在随时间扩展的过去搜索方向和梯度子空间上最小化目标函数，加速大规模无约束优化中的收敛。该方法在光滑凸函数上实现 $1/k^2$ 收敛率，并在二次问题上达到共轭梯度（CG）的性能，通过与截断牛顿法、坐标下降法及代理函数结合，在去噪、反卷积和SVM任务中优于标准方法。

ABSTRACT

This is an overview paper written in style of research proposal. In recent years we introduced a general framework for large-scale unconstrained optimization -- Sequential Subspace Optimization (SESOP) and demonstrated its usefulness for sparsity-based signal/image denoising, deconvolution, compressive sensing, computed tomography, diffraction imaging, support vector machines. We explored its combination with Parallel Coordinate Descent and Separable Surrogate Function methods, obtaining state of the art results in above-mentioned areas. There are several methods, that are faster than plain SESOP under specific conditions: Trust region Newton method - for problems with easily invertible Hessian matrix; Truncated Newton method - when fast multiplication by Hessian is available; Stochastic optimization methods - for problems with large stochastic-type data; Multigrid methods - for problems with nested multilevel structure. Each of these methods can be further improved by merge with SESOP. One can also accelerate Augmented Lagrangian method for constrained optimization problems and Alternating Direction Method of Multipliers for problems with separable objective function and non-separable constraints.

研究动机与目标

• 解决信号与图像处理中常见大规模病态条件优化问题收敛缓慢的挑战。
• 克服Nesterov方法或FISTA等一阶方法在实践中存在悲观最坏情况界的问题。
• 开发一个统一框架，将CG的快速收敛性与一阶方法在非二次、稀疏及复合目标上的鲁棒性相结合。
• 将SESOP与现有加速技术（如截断牛顿法、并行坐标下降法及可分代理函数）集成，以在多样化应用中提升性能。
• 通过增广拉格朗日法与ADMM，将SESOP扩展至约束优化，实现在鞍点问题与非可分问题中的加速。

提出的方法

• 将SESOP表述为在由当前梯度、近期搜索步长及过去梯度加权和张成的仿射子空间上最小化目标函数，同时保持 $1/k^2$ 收敛率。
• 在SESOP迭代中应用截断牛顿（TN）方法，以高效求解低维子空间子问题，降低海塞矩阵求逆的计算成本。
• 将并行坐标下降（PCD）与可分代理函数（SSF）方向作为梯度下降的替代方案，降低每轮迭代的计算开销。
• 当 $f(x) = \phi(Ax)$ 时，利用快速矩阵-向量乘法（如FFT、小波变换）加速子空间优化，复用先前的乘法计算。
• 通过在子空间中引入粗网格解作为搜索方向，将SESOP扩展至多网格设置，结合多网格效率与CG型收敛特性。
• 在增广拉格朗日与ADMM框架下，通过在原变量与对偶变量的子空间上优化，将SESOP应用于鞍点问题。

实验结果

研究问题

• RQ1 SESOP能否在光滑凸函数上实现 $1/k^2$ 收敛率，同时在二次问题上与CG方法收敛性能相当？
• RQ2 将SESOP与截断牛顿法结合后，相较于标准TN方法，其收敛速度与鲁棒性是否显著提升？
• RQ3 在稀疏信号恢复与L1正则化问题中，使用PCD或SSF方向替代梯度方向，性能提升程度如何？
• RQ4 能否通过增广拉格朗日法与ADMM有效将SESOP扩展至约束优化，同时保持收敛加速特性？
• RQ5 SESOP在信号处理、成像与机器学习等多样化应用中，是否具有统一并加速各类优化技术的潜力？

主要发现

• SESOP-TN在截断牛顿步骤中实现与CG迭代次数无关的收敛性，而标准TN方法在早期截断时性能会下降。
• 在非线性问题（如Exponents-and-Squares，$n=200$）与线性SVM（$n=99,758$）中，SESOP-TN在1、10与40次CG迭代下均持续优于标准TN方法。
• SSF-SESOP在所有测试的稀疏信号逼近问题中，迭代次数均优于FISTA，表明其具有更优的实际收敛性能。
• 在二次问题中，SESOP实现与CG相同的收敛速率，证实其在二次情形下的等价性，并支持CG型加速。
• 将粗网格解集成至细网格SESOP子空间中，可无缝结合多网格与CG型加速，同时保持收敛特性。
• 基于SESOP的增广拉格朗日与ADMM方法加速在可分目标与非可分约束的约束问题中展现出良好前景。