[论文解读] The Master Equation for Large Population Equilibriums

René Carmona, François Delarue|HAL (Le Centre pour la Communication Scientifique Directe)|Apr 18, 2014

Stochastic processes and financial applications参考文献 6被引用 14

一句话总结

本文通过将带有公共噪声的平均场博弈中的大群体均衡形式化为前向与后向随机偏微分方程（SPDE）的耦合系统，建立了主方程，该系统被解释为无穷维前向-后向随机微分方程（FBSDE）。关键贡献在于将主方程推导为解耦场所满足的PDE，将值函数表示为前向柯尔莫哥洛夫过程的确定性函数，从而在概率框架下统一了随机HJB方程与柯尔莫哥洛夫方程。

ABSTRACT

We use a simple N-player stochastic game with idiosyncratic and common noises to introduce the concept of Master Equation originally proposed by Lions in his lectures at the Collège de France. Controlling the limit N tends to the infinity of the explicit solution of the N-player game, we highlight the stochastic nature of the limit distributions of the states of the players due to the fact that the random environment does not average out in the limit, and we recast the Mean Field Game (MFG) paradigm in a set of coupled Stochastic Partial Differential Equations (SPDEs). The first one is a forward stochastic Kolmogorov equation giving the evolution of the conditional distributions of the states of the players given the common noise. The second is a form of stochastic Hamilton Jacobi Bellman (HJB) equation providing the solution of the optimization problem when the flow of conditional distributions is given. Being highly coupled, the system reads as an infinite dimensional Forward Backward Stochastic Differential Equation (FBSDE). Uniqueness of a solution and its Markov property lead to the representation of the solution of the backward equation (i.e. the value function of the stochastic HJB equation) as a deterministic function of the solution of the forward Kolmogorov equation, function which is usually called the decoupling field of the FBSDE. The (infinite dimensional) PDE satisfied by this decoupling field is identified with the extit{master equation}. We also show that this equation can be derived for other large populations equilibriums like those given by the optimal control of McKean-Vlasov stochastic differential equations. The paper is written more in the style of a review than a technical paper, and we spend more time and energy motivating and explaining the probabilistic interpretation of the Master Equation, than identifying the most general set of assumptions under which our claims are true.

研究动机与目标

• 在独立噪声与公共噪声并存、大数定律无法完全消除随机性的情境下，形式化平均场博弈中主方程的定义。
• 将平均场博弈范式重构为一组耦合的随机偏微分方程：前向柯尔莫哥洛夫方程用于描述条件分布，后向随机HJB方程用于描述值函数。
• 证明该耦合SPDE系统可被解释为无穷维FBSDE，从而可应用解耦场技术。
• 将主方程推导为解耦场所满足的PDE，该解耦场将值函数表示为前向过程的确定性函数。
• 展示该框架在平均场博弈之外的适用性，包括麦凯恩-弗拉斯科夫SDE的最优控制问题。

提出的方法

• 构建一个具有独立噪声与公共噪声的有限玩家随机博弈，然后取 N → ∞ 的极限以推导出平均场均衡。
• 将前向分量识别为描述在给定公共噪声条件下玩家状态条件分布演化的随机柯尔莫哥洛夫方程。
• 将后向分量识别为在给定条件分布流下控制值函数的随机汉密尔顿-雅可比-贝尔曼（HJB）方程。
• 将耦合SPDE系统视为无穷维FBSDE，其中后向分量被表示为前向分量的函数（即解耦场）。
• 应用无穷维伊tô公式的版本，推导出主方程作为解耦场所满足的PDE。
• 将特征的概率解释为在空间 ℝᵈ × ℒ(ℝᵈ) 中的路径，其中条件分布在公共噪声作用下演化。

实验结果

研究问题

• RQ1 在公共噪声存在的情况下，主方程如何在大群体极限中实现严格推导，此时随机环境无法完全平均化？
• RQ2 当极限分布由于持续存在的公共噪声而非确定性时，主方程的概率解释是什么？
• RQ3 在无穷维FBSDE框架中，解耦场与主方程的关系如何？它满足何种PDE？
• RQ4 主方程能否被推广至平均场博弈之外的其他大群体均衡问题，例如麦凯恩-弗拉斯科夫SDE的最优控制问题？
• RQ5 无穷维伊tô公式在从耦合SPDE系统推导主方程的过程中起到何种作用？

主要发现

• 主方程作为无穷维FBSDE解耦场所满足的PDE出现，该解耦场将前向柯尔莫哥洛夫方程的解映射到后向HJB方程的值函数。
• 前向分量为随机柯尔莫哥洛夫方程，描述了在给定公共噪声条件下玩家状态条件分布的演化。
• 后向分量为随机HJB方程，编码了在给定条件分布流下的最优控制问题。
• 解耦场（将值函数表示为前向过程的确定性函数）满足主方程，从而在一个单一PDE中封装了所有均衡信息。
• 推导依赖于适用于概率测度空间的无穷维伊tô公式版本，并通过时间网格细化过程中的收敛性论证得到验证。
• 该框架不仅适用于平均场博弈，还可推广至麦凯恩-弗拉斯科夫SDE的最优控制问题，表明主方程形式化具有更广泛的应用潜力。