[论文解读] Variational Optimization for Distributed and Boundary Control of Stochastic Fields

George I. Boutselis, Marcus A. Pereira+2 more|arXiv (Cornell University)|Apr 3, 2019

Stochastic processes and financial applications参考文献 10被引用 4

一句话总结

本文提出了一种基于希尔伯特空间上测度论方法的变分优化框架，用于随机偏微分方程的分布式与边界控制。通过利用相对熵与自由能之间的联系，该方法实现了对无限维随机系统参数化控制策略的优化，为理论与实现之间提供了实用的桥梁。

ABSTRACT

Stochastic partial differential equations have been used to model diverse applications ranging from turbulence and plasma physics to partially observable stochastic controlled systems. This paper aims to bridge the gap between abstract theoretical results and implementable algorithms, by developing a variational optimization framework for controlling infinite-dimensional stochastic models. A measure-theoretic approach is employed for systems evolving on Hilbert spaces, which relies on connections between relative entropy and free energy. The derived scheme is applicable to a wide class of problems, and can be used for optimizing parameterized control policies. Our work creates new perspectives and directions for solving stochastic control problems constrained by partial differential equations.

研究动机与目标

• 弥合抽象随机控制理论与可实施算法之间的差距。
• 为由SPDE控制的无限维随机系统开发一种计算上可行的控制方法。
• 实现在分布式与边界控制设置下参数化控制策略的优化。
• 提供基于测度论与变分原理的严谨数学基础，支撑随机控制。

提出的方法

• 在希尔伯特空间上采用测度论框架来建模随机演化过程。
• 利用相对熵与自由能之间的关系推导优化准则。
• 通过能量类泛函将控制策略参数与系统性能相联系，构建变分原理。
• 通过无限维空间上的泛函微积分推导最优性的必要条件。
• 设计一种适用于分布式与边界控制问题的可扩展优化方案。
• 通过在变分公式中嵌入控制律，实现参数化策略的优化。

实验结果

研究问题

• RQ1 如何使抽象随机控制理论在无限维系统中具备可实施性？
• RQ2 在SPDE控制背景下，何种变分原理可统一相对熵与自由能？
• RQ3 在随机偏微分方程约束下，如何优化参数化控制策略？
• RQ4 何种数学框架可确保分布式与边界控制场景下的收敛性与稳定性？
• RQ5 测度论方法在多大程度上提升了随机控制问题的可处理性？

主要发现

• 该框架成功地将理论上的SPDE控制问题转化为可数值求解的变分优化问题。
• 相对熵与自由能之间的联系使得在无限维设置下对控制策略的鲁棒优化成为可能。
• 该方法支持分布式与边界控制，显著拓宽了其在各类物理与工程系统中的适用性。
• 可通过所推导的变分公式高效优化参数化控制策略。
• 该方法为求解受PDE约束的随机控制问题提供了全新的理论与计算路径。
• 该框架具有足够的通用性，可应用于包括湍流与部分可观测过程在内的广泛类随机系统。