[论文解读] Robust and structure exploiting optimization algorithms: An integral quadratic constraint approach

Simon Michalowsky, Carsten W. Scherer+1 more|arXiv (Cornell University)|May 1, 2019

Advanced Optimization Algorithms Research参考文献 34被引用 8

一句话总结

本文提出了一种基于积分二次型约束（IQCs）的鲁棒优化框架，用于分析和设计强凸、光滑函数的梯度优化算法。通过将优化动态建模为反馈系统，该框架可保证收敛速率与鲁棒性，同时利用问题结构，通过凸优化技术设计出具有可证明性能边界的更优算法。

ABSTRACT

We consider the problem of analyzing and designing gradient-based discrete-time optimization algorithms for a class of unconstrained optimization problems having strongly convex objective functions with Lipschitz continuous gradient. By formulating the problem as a robustness analysis problem and making use of a suitable adaptation of the theory of integral quadratic constraints, we establish a framework that allows to analyze convergence rates and robustness properties of existing algorithms and enables the design of novel robust optimization algorithms with prespecified guarantees capable of exploiting additional structure in the objective function.

研究动机与目标

• 开发一个统一的框架，用于分析和设计具有保证收敛性和鲁棒性的梯度优化算法。
• 利用目标函数的结构性质（例如稀疏性、块结构）以提升算法性能。
• 使用凸优化工具提供可证明的收敛速率和鲁棒性裕度。
• 将现有的IQC理论扩展至离散时间优化动态，以实现鲁棒性分析。
• 实现具有预设收敛保证的新算法的系统化设计。

提出的方法

• 将优化算法动态建模为线性时不变系统与表示梯度映射的非线性算子之间的反馈互连。
• 应用积分二次型约束（IQCs）理论，分析闭环系统的稳定性和收敛性。
• 使用Zames-Falb及其他专用IQCs乘子，建模梯度的单调性和Lipschitz性质。
• 构建参数化的IQCs乘子，以推导收敛速率分析的凸优化条件。
• 将鲁棒性分析转化为半定规划（SDP），以计算最坏情况下的收敛速率。
• 通过求解基于IQC的性能约束的逆问题，设计新的优化算法。

实验结果

研究问题

• RQ1 如何将积分二次型约束应用于严格分析一阶优化算法的收敛速率？
• RQ2 在强凸性和Lipschitz梯度假设下，给定类别的优化算法所能达到的最紧致最坏情况收敛速率是多少？
• RQ3 如何利用目标函数中的附加结构（如稀疏性、块结构）来提升算法性能？
• RQ4 能否通过基于IQC的综合方法系统化设计出具有保证收敛速率的新优化算法？
• RQ5 非因果和FIR Zames-Falb乘子在紧致化收敛速率估计中起什么作用？

主要发现

• IQCs框架可推导出标准算法（如Heavy-ball方法和Nesterov方法）的可证明紧致最坏情况收敛速率。
• 该方法允许通过引入问题特定结构，设计出收敛速率更优的新优化算法。
• 可利用同一框架量化并优化对梯度误差或扰动的鲁棒性裕度。
• 使用非因果和FIR Zames-Falb乘子可显著提高收敛速率估计的紧致性，优于经典方法。
• 分析与设计问题被简化为凸优化问题（特别是半定规划），从而可高效计算性能边界与算法参数。
• 该框架成功推广至结构化目标函数（如具有块对角或稀疏Hessian结构的函数），并获得更优的收敛保证。