[论文解读] Primal and Dual Prediction-Correction Methods for Time-Varying Convex Optimization

Nicola Bastianello, Andrea Simonetto+1 more|arXiv (Cornell University)|Apr 24, 2020

Sparse and Compressive Sensing Techniques参考文献 47被引用 14

一句话总结

本文提出了一种统一的预测-校正框架，用于时变凸优化，可在原始空间和对偶空间中运行。通过利用历史数据预测未来问题的解，并借助梯度下降或ADMM等迭代方法进行校正，该框架在不同条件下均能实现快速收敛和稳定性。

ABSTRACT

We propose a unified framework for time-varying convex optimization based on the prediction-correction paradigm, both in the primal and dual spaces. In this framework, a continuously varying optimization problem is sampled at fixed intervals, and each problem is approximately solved with a primal or dual correction step. The solution method is warm-started with the output of a prediction step, which solves an approximation of a future problem using past information. Prediction approaches are studied and compared under different sets of assumptions. Examples of algorithms covered by this framework are time-varying versions of the gradient method, splitting methods, and the celebrated alternating direction method of multipliers (ADMM).

研究动机与目标

• 解决随时间演变的凸优化问题的挑战。
• 开发一种系统性方法，利用历史信息预测未来解。
• 在单一预测-校正范式下统一原始空间和对偶空间的方法。
• 通过热启动和近似技术，在时变设置下确保快速收敛和稳定性。

提出的方法

• 该框架以固定间隔对连续变化的优化问题进行采样。
• 预测步骤利用历史数据和系统动力学，近似未来问题的解。
• 校正步骤使用原始或对偶迭代方法（如梯度下降或ADMM）细化预测解。
• 该方法在原始空间和对偶空间中运行，可灵活适配各类问题。
• 通过预测结果对解进行热启动，提升收敛速度。
• 该方法支持ADMM和分裂方法等经典算法的时变版本。

实验结果

研究问题

• RQ1 如何设计一个统一框架，以在原始空间和对偶空间中处理时变凸优化问题？
• RQ2 在不同假设下，哪些预测策略能产生稳定且准确的解？
• RQ3 通过预测实现的热启动相较于冷启动如何提升收敛性能？
• RQ4 在不同问题动力学下，预测-校正方法的收敛特性如何？
• RQ5 原始空间和对偶空间变体在性能和鲁棒性方面如何比较？

主要发现

• 通过利用历史信息对每次迭代进行热启动，预测-校正框架实现了快速收敛。
• 在更强假设下（如最优解路径的Lipschitz连续性），预测精度得以提升。
• 该方法支持ADMM和梯度法等经典算法的时变版本。
• 在某些结构化问题中，对偶空间方法可提供更优的收敛稳定性。
• 该框架在多种时变场景下保持了数值鲁棒性。
• 理论分析证实，在问题参数有界变化的温和假设下，该方法具有收敛性。