[论文解读] Viscosity Solutions to Parabolic Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|May 7, 2018

Stochastic processes and financial applications参考文献 28被引用 10

一句话总结

本文提出了一种针对麦凯恩-弗拉索夫随机控制问题中出现的抛物型主方程的新型粘性解框架，通过在半 martingale 测度空间中的紧致性确保了适定性。关键贡献在于对路径相关泛函 Itô 公式的扩展，以及一种新的内在粘性解概念，使得在最小正则性假设下能够获得存在性与唯一性结果。

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Itô formula. This Itô formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

研究动机与目标

• 为麦凯恩-弗拉索夫 SDE 在闭环控制背景下的抛物型主方程发展一个适定的粘性解理论。
• 通过将测试函数限制在具有有界特征的半 martingale 测度的紧集上，克服 Wasserstein 空间中缺乏局部紧致性的问题。
• 将 Dupire 的泛函 Itô 公式扩展至具有测度导数的路径相关设定，推广 Lions 的方法。
• 在最小正则性假设下，建立控制问题中值函数的粘性解的存在性与唯一性结果。
• 提供一个支持时不一致与部分信息控制问题的框架，通过在 Wasserstein 空间上的内在粘性解实现。

提出的方法

• 通过将 $\varphi - V$ 的最大值/最小值限制在具有有界漂移与扩散的半 martingale 测度的紧集 $[t,t+\delta] \times \mathcal{P}_L(t,\mu)$ 上，引入一种新的粘性解概念。
• 利用 $\mathcal{P}_L(t,\mu)$ 的紧致性，确保比较原理成立，从而克服经典方法在 Wasserstein 空间上的局限性。
• 在路径相关设定中应用泛函 Itô 公式，要求测度导数具有 Lions 所引入的特定结构。
• 在闭环控制框架下，证明值函数 $V(t,\mu)$ 的动态规划原理。
• 通过逼近论证与概率测度的耦合，建立值函数的统一连续性与状态相关性质。
• 使用模连续性 $\rho$ 控制 $V(t,\mu)$ 对 $t$ 与 $\mu$ 的依赖关系，确保在扰动下的稳定性。

实验结果

研究问题

• RQ1 如何为麦凯恩-弗拉索夫设定下具有闭环控制的抛物型主方程 formulate 粘性解理论？
• RQ2 在测度空间上何种紧致性结构可确保粘性解理论中的比较原理？
• RQ3 如何将 Dupire 的泛函 Itô 公式扩展至具有测度导数的路径相关 PDE？
• RQ4 在闭环反馈下，麦凯恩-弗拉索夫控制问题的值函数具有何种正则性性质？
• RQ5 在何种条件下值函数为状态相关，即 $V(t,\mu) = V(t,\mu_t)$？

主要发现

• 所提出的粘性解概念通过利用具有有界特征的半 martingale 测度空间中的紧致性，确保了主方程的适定性。
• 值函数 $V(t,\mu)$ 在 $(t,\mu)$ 上是一致连续的，其模连续性依赖于 Wasserstein 距离与时间差。
• 为具有测度导数的路径相关 PDE 建立了 Dupire 泛函 Itô 公式的扩展，推广了 Lions 的框架。
• 在闭环控制设定下，值函数满足动态规划原理，即使控制依赖于整个路径。
• 当系数为状态相关时，值函数仅依赖于当前的边际分布 $\mu_t$，即 $V(t,\mu) = V(t,\mu_t)$。
• 该解理论对扰动具有鲁棒性：$|V(t_1,\mu) - V(t_2,\nu)| \leq \rho(C\mathcal{W}_2((t_1,\mu),(t_2,\nu)) + C(1 + \mathbb{E}^\mu[\|X_{t_1\wedge\cdot}\|^2])^{1/2}|t_2 - t_1|)$，表明其稳定性。