[论文解读] Time-Varying Convex Optimization via Time-Varying Averaged Operators

Andrea Simonetto|arXiv (Cornell University)|Apr 24, 2017

Sparse and Compressive Sensing Techniques参考文献 71被引用 37

一句话总结

本文提出了一种基于时变平均算子的时变凸优化统一框架，使运行算法能够追踪最优解，且无需强凸性或光滑性假设。在较弱假设下，建立了投影梯度、邻近点、前向-后向分裂和ADMM等关键算法的运行版本的收敛性，显著拓宽了其在ℓ₁-正则化优化等问题中的适用性。

ABSTRACT

Devising efficient algorithms that track the optimizers of continuously varying convex optimization problems is key in many applications. A possible strategy is to sample the time-varying problem at constant rate and solve the resulting time-invariant problem. This can be too computationally burdensome in many scenarios. An alternative strategy is to set up an iterative algorithm that generates a sequence of approximate optimizers, which are refined every time a new sampled time-invariant problem is available by one iteration of the algorithm. These types of algorithms are called running. A major limitation of current running algorithms is their key assumption of strong convexity and strong smoothness of the time-varying convex function. In addition, constraints are only handled in simple cases. This limits the current capability for running algorithms to tackle relevant problems, such as $\ell_1$-regularized optimization programs. In this paper, these assumptions are lifted by leveraging averaged operator theory and a fairly comprehensive framework for time-varying convex optimization is presented. In doing so, new results characterizing the convergence of running versions of a number of widely used algorithms are derived.

研究动机与目标

• 解决现有运行算法在时变优化中要求强凸性和光滑性的局限性。
• 为适用于更广泛类别的时变凸优化问题的运行算法建立通用收敛性理论。
• 将运行方法的适用性扩展至非光滑和约束问题，包括ℓ₁-正则化规划问题。
• 在较弱假设下，为ADMM和对偶分解等广泛使用的算法的运行版本提供收敛性保证。
• 利用平均算子理论统一并推广先前在运行优化中的研究成果。

提出的方法

• 利用时变平均算子理论，建模时变凸问题中优化器的演化过程。
• 引入Mann-Krasnosel’skii不动点迭代的运行版本，作为统一的算法框架。
• 通过分析迭代值与时变最优解之间的误差动态，利用有界扰动，建立收敛性。
• 通过算子理论变换，推导标准算法（如投影梯度、前向-后向、对偶上升）的运行变体。
• 通过在时变问题参数上施加有界性假设，将该框架应用于推导运行ADMM和对偶分解。
• 采用递归误差界分析，证明在时变条件下（包括最优解集和算子收缩的扰动）的收敛性。

实验结果

研究问题

• RQ1 能否在不依赖强凸性或光滑性的情况下，将运行算法扩展至时变凸问题？
• RQ2 当问题参数随时间演化时，如何保证运行不动点迭代的收敛性？
• RQ3 在时变设置下，什么条件能确保运行ADMM和对偶分解的收敛性？
• RQ4 Mann-Krasnosel’skii迭代能否被适配以稳定且有界地追踪时变解？
• RQ5 平均算子理论在统一和推广运行优化算法中起到什么作用？

主要发现

• 在较弱假设下，运行Mann-Krasnosel’skii迭代收敛，即使时变问题缺乏强凸性或光滑性。
• 通过算子理论分析，建立了投影梯度、邻近点、前向-后向分裂和对偶上升方法运行版本的收敛性。
• 在最优解集有界扰动假设下，证明了运行ADMM和对偶分解算法的收敛性。
• 推导出一个定量误差界：算子迭代的平均平方残差被有界为O(1/T)加上与时间变扰动δ成正比的项。
• 运行算法的收敛速率在残差的均方误差意义下为O(1/T)，且显式依赖于扰动大小δ和初始误差。
• 该框架使ℓ₁-正则化及其他非光滑问题的收敛性分析成为可能，而这些问题是此前运行算法的适用范围之外。