[论文解读] Viscosity Solutions to Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|May 7, 2018

Stochastic processes and financial applications被引用 1

一句话总结

本文提出了一种针对具有闭环控制的麦凯恩-弗拉斯托夫随机微分方程（McKean-Vlasov SDEs）控制问题中抛物型主方程的新型粘性解框架，通过扩散局域鞅测度的紧致性实现。该研究建立了适定性，并将杜皮雷的函数型伊藤公式推广至路径相关设定，从而实现对具有复杂测度依赖正则性的值函数的分析。

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Ito formula. This Ito formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

研究动机与目标

• 解决在具有闭环控制的平均场控制问题中出现的抛物型主方程的适定性问题。
• 克服在闭环框架下相比开环设定，值函数正则性要求更高的挑战。
• 将杜皮雷的函数型伊藤公式推广至具有测度依赖导数的路径相关设定，建立在吕昂的框架之上。
• 在路径相关和部分信息设定下，为具有主方程建立粘性解理论。
• 通过将测度限制在具有有利分析性质的扩散局域鞅类，确保紧致性和可解性。

提出的方法

• 提出一种专为具有分布状态变量的控制问题中抛物型主方程设计的新粘性解概念。
• 将测度集合限制在扩散局域鞅测度上，以确保紧致性，从而实现存在性与唯一性结果。
• 将该理论应用于麦凯恩-弗拉斯托夫SDE在闭环控制下的HJB主方程，其中值函数的正则性显著更为复杂。
• 将杜皮雷的函数型伊藤公式推广至路径相关设定，要求导数对测度具有特定结构。
• 将吕昂的测度导数框架适配至路径相关过程，为关键导数结构提供一种初等证明。
• 构建一个与路径相关及测度依赖动态兼容的函数型伊藤微积分框架，这对部分信息下的随机控制至关重要。

实验结果

研究问题

• RQ1 如何为具有闭环控制和分布状态的控制问题中的抛物型主方程定义粘性解？
• RQ2 何种测度类可为该类控制问题中主方程的适定性提供足够的紧致性？
• RQ3 在闭环与开环麦凯恩-弗拉斯托夫控制框架下，值函数的正则性有何不同？
• RQ4 杜皮雷的函数型伊藤公式能否推广至具有测度依赖导数的路径相关设定？
• RQ5 在路径相关设定下，函数型伊藤公式成立所需的测度导数结构条件为何？

主要发现

• 提出了一种针对抛物型主方程的新粘性解概念，确保在麦凯恩-弗拉斯托夫SDE的闭环控制下具有适定性。
• 使用扩散局域鞅测度提供了证明粘性解存在性与唯一性所必需的紧致性。
• 在闭环控制中，值函数表现出比开环设定更复杂的正则性，因此需要更精细的解框架。
• 为具有测度依赖导数的路径相关过程建立了杜皮雷函数型伊藤公式的扩展，推广了吕昂的框架。
• 为路径相关设定下测度导数的关键结构提供了初等证明，确认与现有结果的一致性。
• 该理论在路径相关设定下已完全建立，使应用于部分信息下的随机控制和时间不一致问题成为可能。