[论文解读] Stochastic Control on Space of Random Variables

Alain Bensoussan, P. Jameson Graber+1 more|arXiv (Cornell University)|Mar 29, 2019

Stochastic processes and financial applications参考文献 3被引用 7

一句话总结

本文将 Lions 的提升方法扩展至平方可积随机变量的希尔伯特空间上的随机控制问题，建立了麦克斯韦场类型控制问题与随机变量空间上随机控制问题之间的联系。通过 Gâteaux 导数推导出 HJB-FP 系统，并证明值函数满足经典的 HJB-FP 方程，主方程则通过贝尔曼方程的微分获得。

ABSTRACT

By extending \cite{bensoussan2015control}, we implement the proposal of Lions \cite{lions14} on studying mean field games and their master equations via certain control problems on the Hilbert space of square integrable random variables. In \cite{bensoussan2015control}, the Hilbert space could be quite general in the face of the "deterministic control problem" due to the absence of additional randomness; while the special case of $L^2$ space of square integrable random variables was brought in at the interpretation stage. The effectiveness of the approach was demonstrated by deriving Bellman equations and the first order master equations through control theory of dynamical systems valued in the Hilbert space. In our present problem for second order master equations, it connects with a stochastic control problem over the space of random variables, and it possesses an additional randomness generated by the Wiener process which cannot be detached from the randomness caused by the elements in the Hilbert space. Nevertheless, we demonstrate how to tackle this difficulty, while preserving most of the efficiency of the approach suggested by Lions \cite{lions14}.

研究动机与目标

• 将 Lions 通过在随机变量的希尔伯特空间上研究均场博弈的控制方法扩展至具有维纳噪声的随机情形。
• 在随机变量空间上的值函数与均场类型控制的经典 HJB-FP 系统之间建立严格的联系。
• 证明在此框架下，通过形式微分贝尔曼方程可导出主方程。
• 解决在希尔伯特空间设定下，维纳过程与随机变量分布的随机性相互交织的挑战。

提出的方法

• 将均场控制问题提升至平方可积随机变量的希尔伯特空间，将状态视为 L²(Ω, F, P) 中的元素。
• 在此空间上定义一个由维纳过程驱动、控制依赖漂移的随机控制问题。
• 应用随机微积分与 Gâteaux 导数，推导值函数的哈密顿-雅可比-贝尔曼（HJB）方程。
• 利用包络定理与对偶性，将值函数的梯度与伴随过程关联，从而得到最优控制。
• 通过分析受控过程的流，推导出前推测度的福克-普朗克方程。
• 通过验证提升问题的解经微分后对应主方程，证明值函数满足经典的 HJB-FP 系统。

实验结果

研究问题

• RQ1 如何从随机变量空间上的随机控制问题推导出均场博弈的主方程？
• RQ2 当状态空间为 L²(Ω) 时，维纳过程在控制问题中起什么作用？
• RQ3 随机变量空间上的值函数与均场类型控制的经典 HJB-FP 系统之间有何关系？
• RQ4 值函数的一阶与二阶 Gâteaux 导数能否用于恢复 HJB 与福克-普朗克方程？
• RQ5 在何种条件下，随机变量空间上的值函数仅依赖于该随机变量的分布？

主要发现

• 随机变量空间上的值函数满足 HJB-FP 系统，其中 HJB 方程为 −∂u/∂s + Au + (1/(2λ))|Du|² = F(x, m(s))，终端条件为 u(x,T) = F_T(x, m(T))。
• 前推测度的福克-普朗克方程为 ∂m/∂s + Am − (1/λ)div(mDu) = 0，初始条件为 m(x,t) = m(x)。
• 最优控制为 u_xmt(s) = −(1/λ)z_xmt(s)，其中 z_xmt(s) 为最优轨迹上值函数的梯度。
• 值函数的梯度满足 D_x u_m(x,t) = D_x (∂V(m,t)/∂m)(x)，确认与主方程框架的一致性。
• HJB-FP 方程组通过贝尔曼方程的微分导出，伴随过程 z_xmt(s) 被识别为值函数的导数。
• 在 L²(Ω) 上提升的随机控制问题的解恢复了经典的均场控制方程，验证了该提升方法在随机设定下的有效性。