[论文解读] Rate analysis of inexact dual first order methods: Application to distributed MPC for network systems

Ion Necoara, Valentin Nedelcu|arXiv (Cornell University)|Feb 13, 2013

Advanced Control Systems Optimization参考文献 27被引用 8

一句话总结

本文提出了一种带有收敛速率分析的不精确对偶一阶方法，用于网络系统中的分布式模型预测控制（MPC）。通过使用不精确梯度和平均化，该方法实现了对偶次优性和原始可行性违反的次线性收敛速率，通过约束收紧确保原始可行性，并提供了显式的误差界。

ABSTRACT

In this paper we propose and analyze two dual methods based on inexact gradient information and averaging that generate approximate primal solutions for smooth convex optimization problems. The complicating constraints are moved into the cost using the Lagrange multipliers. The dual problem is solved by inexact first order methods based on approximate gradients and we prove sublinear rate of convergence for these methods. In particular, we provide, for the first time, estimates on the primal feasibility violation and primal and dual suboptimality of the generated approximate primal and dual solutions. Moreover, we solve approximately the inner problems with a parallel coordinate descent algorithm and we show that it has linear convergence rate. In our analysis we rely on the Lipschitz property of the dual function and inexact dual gradients. Further, we apply these methods to distributed model predictive control for network systems. By tightening the complicating constraints we are also able to ensure the primal feasibility of the approximate solutions generated by the proposed algorithms. We obtain a distributed control strategy that has the following features: state and input constraints are satisfied, stability of the plant is guaranteed, whilst the number of iterations for the suboptimal solution can be precisely determined.

研究动机与目标

• 开发不精确对偶一阶方法，为大规模凸优化问题提供次优且原始可行的解。
• 解决文献中对不精确对偶梯度方案缺乏收敛速率分析的问题。
• 在分布式MPC应用中确保近似解的原始可行性，其中约束代表物理极限和安全要求。
• 对对偶次优性、原始可行性违反以及梯度计算中的不精确性误差提供显式估计。
• 精确确定为达到指定容忍度内的次优解所需迭代次数。

提出的方法

• 使用拉格朗日松弛将复杂约束移入目标函数，将原问题转化为对偶问题。
• 应用具有 $[1/(2\sqrt{L_1}), 1/(2L_d)]$ 范围内步长的不精确对偶梯度算法（IDG），并使用近似对偶梯度 $\bar{\nabla}d(\lambda^k) = h(\bar{u}^k)$。
• 通过 $\hat{\lambda}^k = \frac{1}{S^k}\sum_{j=0}^k \alpha^j \lambda^{j+1}$ 对对偶变量进行平均，进而通过 $\hat{u}^k = \frac{1}{S^k}\sum_{j=0}^k \alpha^j \bar{u}^j$ 生成原始解。
• 利用对偶函数的利普希茨性质及对不精确性误差 $\epsilon_{\text{in}}$ 的界来分析收敛性。
• 使用具有线性收敛速率的并行坐标下降算法求解内层子问题。
• 通过约束收紧确保近似解 $\hat{u}^k$ 的原始可行性。

实验结果

研究问题

• RQ1 不精确对偶一阶方法在对偶次优性和原始可行性违反方面可保证的收敛速率是什么？
• RQ2 不精确梯度计算如何影响对偶方法的收敛行为及误差累积？
• RQ3 在分布式MPC中，能否确保由不精确对偶梯度方案生成的近似解具有原始可行性？
• RQ4 次优性和不可行性边界对迭代次数及不精确性参数 $\epsilon_{\text{in}}$ 的显式依赖关系是什么？
• RQ5 如何精确确定为达到期望解质量所需迭代次数？

主要发现

• 对偶次优性被限制为 $\|F^* - d(\hat{\lambda}^k)\| \leq \frac{\underline{L}R_d^2}{k+1} + \epsilon_{\text{in}}$，表明收敛速率为 $\mathcal{O}(1/k)$ 的次线性。
• 原始可行性违反被限制为 $\|[h(\hat{u}^k)]_+\| \leq \frac{4\underline{L}R_d}{k+1} + \frac{6\underline{L}\|\lambda^0\|}{k+1} + 2\sqrt{\frac{\underline{L}}{k+1}\epsilon_{\text{in}}}$，随着 $k$ 增大，可确保可行性。
• 不精确性误差 $\epsilon_{\text{in}}$ 不会累积，因为其界与 $\sqrt{\epsilon_{\text{in}}}$ 成正比，而非线性。
• 该方法通过约束收紧确保了近似解 $\hat{u}^k$ 的原始可行性，即使内层问题被近似求解。
• 基于收敛界，可精确确定为达到给定容忍度内的次优解所需迭代次数。
• 用于求解内层子问题的并行坐标下降算法表现出线性收敛速率，提升了整体效率。