[论文解读] On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming

Ya‐Feng Liu, Xin Liu+1 more|arXiv (Cornell University)|Mar 18, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 3

一句话总结

该论文提出了一种用于带线性约束的复合凸优化的不精确增广拉格朗日（IAL）框架，其中增广拉格朗日子问题通过更弱的停止准则近似求解。该框架建立了全局收敛性和非遍历收敛速率保证，实验表明其在CPU性能上更快，且解的稀疏性优于精确方法。

ABSTRACT

In this paper, we consider the linearly constrained composite convex optimization problem, whose objective is a sum of a smooth function and a possibly nonsmooth function. We propose an inexact augmented Lagrangian (IAL) framework for solving the problem. The stopping criterion used in solving the augmented Lagrangian (AL) subproblem in the proposed IAL framework is weaker and potentially much easier to check than the one used in most of the existing IAL frameworks/methods. We analyze the global convergence and the non-ergodic convergence rate of the proposed IAL framework.

研究动机与目标

• 开发一种不精确增广拉格朗日（IAL）框架，允许在求解复合凸优化中增广拉格朗日子问题时采用更弱的停止准则。
• 在子问题解不精确的前提下，为所提出的IAL框架建立全局收敛性和非遍历收敛速率保证。
• 通过与遍历解路径对比，展示非遍历解路径在实际效率和稀疏性保持方面的优越性。
• 通过基追踪问题的数值结果，证明非遍历收敛速率分析的重要性。

提出的方法

• IAL框架近似求解增广拉格朗日子问题，采用基于次优性间隙的停止准则：$\mathcal{L}_{\beta}(x^{k+1};\lambda^k) - \mathcal{L}_{\beta}(x(\lambda^k);\lambda^k) \leq \eta_k^2$，该准则弱于标准准则。
• 通过 $\lambda^{k+1} = \lambda^k + \beta(Ax(\lambda^k) - b)$ 更新对偶变量，模拟在增广拉格朗日对偶函数上的对偶梯度上升。
• 在序列 $\{\eta_k\}$ 可 summable 的假设下进行收敛性分析，确保迭代序列的全局收敛性。
• 推导出原始变量和对偶不可行性的非遍历收敛速率，提供非平均化的收敛保证。
• 将该框架应用于基追踪问题，其中非光滑项 $g(x)$ 为凸集的指示函数，用于建模稀疏恢复。
• 通过数值实验将IAL框架与精确增广拉格朗日（EAL）方法进行比较，评估稀疏性、目标误差、残差和CPU时间。

实验结果

研究问题

• RQ1 是否可以在采用更弱停止准则的不精确增广拉格朗日框架下，仍能保证全局收敛性和非遍历收敛速率？
• RQ2 IAL框架的非遍历解路径与遍历路径相比，在稀疏性和收敛速度方面有何差异？
• RQ3 不精确性容忍度 $\eta_k$ 对整体收敛行为和计算效率有何影响？
• RQ4 所提出的IAL框架是否在保持相近精度和稀疏性的同时，实现比精确方法更快的CPU时间？

主要发现

• 当不精确性容忍度序列 $\eta_k$ 可 summable 时，IAL框架仍能保证全局收敛，即使子问题被近似求解。
• 建立了原始变量和对偶不可行性的非遍历收敛速率，提供了非平均化的收敛保证。
• 数值结果表明，IAL在CPU时间上显著快于EAL，平均而言，IAL在不到一半的时间内达到相同精度。
• 非遍历解 $\bar{x}$ 的稀疏性远高于遍历解 $x_e$，且在所有测试实例中，其稀疏模式与真实解 $x^*$ 完全匹配。
• 对于较大规模问题（$m=1800, n=3000$），IAL相比EAL实现25-30%的CPU时间减少，同时保持相近的目标误差和残差。
• 即使当 $\eta_k < 10^{-4}$ 对于 $k > 100$，IAL仍比EAL更快，表明更弱的停止准则并未损害效率。