[论文解读] Stochastic Dual Dynamic Programming for Multistage Stochastic Mixed-Integer Nonlinear Optimization

Shixuan Zhang, Xu Andy Sun|arXiv (Cornell University)|Dec 31, 2019

Risk and Portfolio Optimization被引用 4

一句话总结

本文提出了一种用于多阶段随机混合整数非线性规划（MS-MINLP）的新型随机对偶动态规划（SDDP）框架，采用基于广义共轭的割线来处理非凸、不连续或非Lipschitz型值函数。该研究首次建立了此类问题的迭代复杂度界，表明其与阶段数和状态空间维数呈多项式依赖关系，解决了Shabbir Ahmed教授关于SDDP可扩展性的猜想。

ABSTRACT

In this paper, we study multistage stochastic mixed-integer nonlinear programs (MS-MINLP). This general class of problems encompasses, as important special cases, multistage stochastic convex optimization with non-Lipschitzian value functions and multistage stochastic mixed-integer linear optimization. We develop stochastic dual dynamic programming (SDDP) type algorithms with nested decomposition, deterministic sampling, and stochastic sampling. The key ingredient is a new type of cuts based on generalized conjugacy. Several interesting classes of MS-MINLP are identified, where the new algorithms are guaranteed to obtain the global optimum without the assumption of complete recourse. This significantly generalizes the classic SDDP algorithms. We also characterize the iteration complexity of the proposed algorithms. In particular, for a $(T+1)$-stage stochastic MINLP with $d$-dimensional state spaces, to obtain an $ε$-optimal root node solution, we prove that the number of iterations of the proposed deterministic sampling algorithm is upper bounded by $\mathcal{O}((\frac{2T}ε)^d)$, and is lower bounded by $\mathcal{O}((\frac{T}{4ε})^d)$ for the general case or by $\mathcal{O}((\frac{T}{8ε})^{d/2-1})$ for the convex case. This shows that the obtained complexity bounds are rather sharp. It also reveals that the iteration complexity depends polynomially on the number of stages. We further show that the iteration complexity depends linearly on $T$, if all the state spaces are finite sets, or if we seek a $(Tε)$-optimal solution when the state spaces are infinite sets, i.e. allowing the optimality gap to scale with $T$. To the best of our knowledge, this is the first work that reports global optimization algorithms as well as iteration complexity results for solving such a large class of multistage stochastic programs.

研究动机与目标

• 开发一种统一的SDDP类算法，用于多阶段随机混合整数非线性规划（MS-MINLP），这是一类具有非凸、不连续或非Lipschitz型值函数的广泛问题类别。
• 克服现有SDDP方法中缺乏通用割线机制以精确下近似非凸值函数的问题。
• 为SDDP类算法在MS-MINLP中的迭代复杂度建立紧致界，尤其明确其与阶段数、状态空间维数及最优性间隙的依赖关系。
• 解决Shabbir Ahmed教授关于SDDP在多阶段随机混合整数优化中多项式可扩展性的长期猜想。

提出的方法

• 提出一类基于广义共轭的新割线，用于近似正则化子问题中的非凸代价到未来函数。
• 对值函数施加正则化，以确保精确惩罚，并保持原始MS-MINLP的可行性和最优性。
• 设计三种算法：一种确定性嵌套Benders变体、一种确定性采样SDDP和一种随机采样SDDP，均在统一框架内实现。
• 在后向传递中使用带有正则化节点问题的预言机，生成即使在值函数为非Lipschitz或不连续时也能下近似值函数的割线。
• 采用具有预设参数的惩罚重构方法，以实现精确惩罚并保持解的质量。
• 通过割线近似质量的几何分析推导复杂度界，利用特定问题类中Lipschitz连续性和凸性的性质。

实验结果

研究问题

• RQ1 SDDP能否被推广以处理具有非凸、不连续或非Lipschitz型值函数的多阶段随机混合整数非线性规划？
• RQ2 SDDP类算法在MS-MINLP中的迭代复杂度是多少？其与阶段数和状态空间维数的缩放关系如何？
• RQ3 在MS-MINLP中，迭代复杂度是否关于阶段数呈多项式或指数依赖，特别是在凸情况下？
• RQ4 SDDP框架能否扩展至无完全补偿问题，同时仍保证全局收敛？
• RQ5 是否能够为MS-MINLP中的SDDP建立紧致的下界和上界迭代复杂度，从而解决Ahmed的猜想？

主要发现

• 所提出的确定性采样SDDP算法在具有$d$维状态空间的$(T+1)$阶段MS-MINLP中，其上界迭代复杂度为$\mathcal{O}\left(\left(\frac{2T}{\varepsilon}\right)^d\right)$。
• 在一般情况下建立了$\mathcal{O}\left(\left(\frac{T}{4\varepsilon}\right)^d\right)$的下界，而在凸情况下为$\mathcal{O}\left(\left(\frac{T}{8\varepsilon}\right)^{d/2-1}\right)$，表明这些界是紧致的。
• 对于具有有限状态空间的问题，或当最优性间隙与$T$线性相关时，迭代复杂度关于$T$呈线性关系，而非多项式关系。
• 该算法保证对一大类MS-MINLP（包括具有非Lipschitz型值函数的问题）实现全局收敛，且无需要求完全补偿。
• 复杂度分析证实SDDP类算法在阶段数上呈多项式缩放，解决了Ahmed关于多阶段随机优化可扩展性的猜想。
• 广义共轭割线的使用使得即使在非凸和非光滑设置下，也能实现值函数的精确下近似，从而支持全局优化。