[论文解读] Numerical Algorithm for Optimal Control of Continuity Equations

Nikolay Pogodaev|arXiv (Cornell University)|Aug 18, 2017

Differential Equations and Boundary Problems参考文献 2被引用 4

一句话总结

本文提出了一种用于连续性方程最优控制的新型迭代数值算法，目标是在最终时刻最大化目标集合中的质量累积。通过利用针状变分（needle variation）和基于流的重构方法，该方法基于边界通量执行类似梯度的更新，迭代改进控制输入，确保在标准假设下目标泛函单调改善并保证收敛。

ABSTRACT

An optimal control problem for the continuity equation is considered. The aim of a controller is to maximize the total mass within a target set at a given type moment. An iterative numerical algorithm for solving this problem is presented.

研究动机与目标

• 开发一种数值方法，用于求解由连续性方程控制的最优控制问题，目标是在最终时刻最大化目标集合中的质量。
• 解决在不确定性下对分布质量进行控制的挑战，其中初始密度为连续的，并通过受控向量场演化。
• 设计一种迭代算法，通过连续的控制更新确保目标泛函的单调改善。
• 为传统直接方法在无限维状态空间下难以处理的问题提供一种计算上可行的解决方案。

提出的方法

• 该算法采用基于流的重构方法，通过受控向量场的流将目标集合反向时间传播。
• 在每次迭代中，该方法计算密度在反向演化目标集合边界的通量，以确定最优控制增量。
• 对于每个时间点，该算法在控制集上求解一个有限维最小化问题，以找到使通过反向演化目标集合边界的通量最大的控制。
• 更新规则源自控制的一阶变分（针状变分），从而在目标泛函中实现方向性改善。
• 该方法依赖于涉及反向演化目标集合边界上向量场法向分量的必要最优性条件。
• 实现过程包括在每个时间步向前求解连续性方程，并计算流及其逆，以追踪随时间演化的目标集合。

实验结果

研究问题

• RQ1 如何数值求解一个连续性方程的最优控制问题，其中状态为概率密度，控制影响漂移场？
• RQ2 何种迭代算法可保证目标泛函的单调改善，同时在高维系统中保持计算可行性？
• RQ3 如何对涉及边界通量的必要最优性条件进行离散化并在数值方案中实现？
• RQ4 反向流变换在何种程度上简化了质量最大化的最优控制问题？

主要发现

• 在给定假设下，所提算法确保目标泛函的单调改善，即对所有迭代 $ k $ 满足 $ J[u^{k+1}] \geq J[u^k] $。
• 该方法基于适用于连续性方程的针状变分原理，能够利用边界通量实现类似梯度的更新。
• 该算法在三个基准问题上成功测试：河中船只、具有不确定初始状态的摆，以及受向量场排斥的羊群。
• 在羊群问题中，最优控制策略被发现仅在某一时刻激活一个排斥器，表明存在一种类似‘牧羊犬’的控制策略，即在不同位置间跳跃。
• 数值实现所有测试案例均实现收敛，轨迹清晰显示在最终时刻质量集中于目标集合。
• 理论分析证实，在收敛时满足必要最优性条件，确保在标准正则性和凸性假设下的局部最优性。