[论文解读] Optimality Conditions in Variational Form for Non-Linear Constrained Stochastic Control Problems

Laurent Pfeiffer|arXiv (Cornell University)|Feb 12, 2018

Optimization and Variational Analysis参考文献 30被引用 11

一句话总结

本文为依赖于状态最终概率分布的非线性约束随机控制问题建立了变分最优性条件。利用可达分布的凸性性质，推导出一种变分不等式条件，并提出一种增广拉格朗日方法，该方法在每次迭代中通过动态规划求解标准随机控制问题，已在两个学术示例中得到验证。

ABSTRACT

Optimality conditions in the form of a variational inequality are proved for a class of constrained optimal control problems of stochastic differential equations. The cost function and the inequality constraints are functions of the probability distribution of the state variable at the final time. The analysis uses in an essential manner a convexity property of the set of reachable probability distributions. An augmented Lagrangian method based on the obtained optimality conditions is proposed and analyzed for solving iteratively the problem. At each iteration of the method, a standard stochastic optimal control problem is solved by dynamic programming. Two academical examples are investigated.

研究动机与目标

• 推导出非线性约束随机控制问题的必要最优性条件，其中代价函数和约束条件依赖于状态的最终概率分布。
• 建立最优性的变分不等式形式，以捕捉随机控制中分布约束的结构特征。
• 基于推导出的最优性条件，开发并分析一种迭代增广拉格朗日方法。
• 通过将每个子问题简化为可通过动态规划求解的标准随机最优控制问题，确保收敛性和实际可解性。
• 在涉及风险规避和方差约束控制目标的学术示例中验证该方法的有效性。

提出的方法

• 将控制问题表述为在最终分布 $ m_T $ 上最小化泛函 $ F(m_T) $，并满足不等式约束 $ G(m_T) \leq 0 $，其中 $ F $ 和 $ G $ 是定义在分布空间上的非线性泛函。
• 利用可达概率分布集合的凸性性质，推导出以变分不等式形式表示的必要最优性条件。
• 提出一种增广拉格朗日方法，通过迭代更新对偶变量，并利用动态规划求解一系列无约束随机控制问题。
• 使用 $ d_1 $-距离（Wasserstein-1）的对偶表示，分析分布泛函的收敛性和连续性。
• 利用 $ \mathcal{P}_1(\mathbb{R}^n) $ 中的紧致性和连续性结果，特别是通过普罗霍罗夫定理和矩界，确保优化路径的适定性。
• 依赖福克-普朗克方程来描述反馈控制下状态分布的演化，从而实现对分布动态的分析。

实验结果

研究问题

• RQ1 什么样的变分最优性条件能够刻画非线性、分布约束随机控制问题的解？
• RQ2 如何利用最终分布可达集的凸性来推导最优性的必要条件？
• RQ3 能否设计一种增广拉格朗日方法，以迭代方式求解此类非线性、分布约束问题？
• RQ4 在推导出的最优性条件下，能否为所提出的迭代方法建立收敛性保证？
• RQ5 分布泛函的连续性和紧致性性质如何影响控制问题的可解性和稳定性？

主要发现

• 本文建立了变分不等式作为具有最终时间分布目标的非线性约束随机控制问题的必要最优性条件。
• 证明了可达最终分布集合具有凸性性质，这是推导最优性条件的关键。
• 提出了一种增广拉格朗日方法，该方法在每次迭代中通过动态规划求解标准随机控制问题，确保在所推导条件下收敛。
• 该方法在两个学术示例中得到验证，展示了其在风险规避和方差约束控制问题中的适用性。
• 在 $ L^p $-矩界下，证明了 $ \mathcal{P}_1(\mathbb{R}^n) $ 上线性泛函的连续性，确保了优化路径的稳定性。
• 建立了有界 $ L^p $-矩子集在 $ d_1 $-拓扑下的紧致性，为收敛性分析和数值实现提供了支持。