[论文解读] Viscosity Solutions of Stochastic Hamilton-Jacobi-Bellman Equations

Jinniao Qiu|arXiv (Cornell University)|Sep 18, 2017

Stochastic processes and financial applications参考文献 28被引用 3

一句话总结

本文提出了一类完全非线性随机哈密顿-雅可比-贝尔曼（HJB）方程的粘性解框架，该方程源于具有随机系数的最优随机控制问题。研究证明了值函数是最大粘性解，并在扩散系数为时间、状态和控制的确定性函数的超抛物条件下建立了唯一性。

ABSTRACT

In this paper we study the fully nonlinear stochastic Hamilton-Jacobi-Bellman (HJB) equation for the optimal stochastic control problem of stochastic differential equations with random coefficients. The notion of viscosity solution is introduced, and we prove that the value function of the optimal stochastic control problem is the maximal viscosity solution of the associated stochastic HJB equation. For the superparabolic cases when the diffusion coefficients are deterministic functions of time, states and controls, the uniqueness is addressed as well.

研究动机与目标

• 解决在非马尔可夫设定下具有随机系数的完全非线性随机HJB方程解的存在性与唯一性这一开放问题。
• 为涉及随机系数的倒向随机PDE的随机HJB方程定义严格的粘性解概念。
• 将最优随机控制问题的值函数确立为关联随机HJB方程的最大粘性解。
• 在扩散系数为确定性的超抛物条件下，证明粘性解的唯一性。
• 通过具有随机系数的随机HJB方程，将动态规划原理推广至非马尔可夫设定。

提出的方法

• 为由布朗运动和随机系数驱动的完全非线性随机HJB方程引入粘性解概念。
• 利用Doob-Meyer分解定义解的时间分量和鞅分量，识别出倒向随机PDE的结构。
• 应用随机微分算子 $\mathfrak{d}_t$ 和 $\mathfrak{d}_\omega$ 的概念，以未知随机场 $u(t,x)$ 和 $\psi(t,x)$ 的形式表征解。
• 利用粘性解的比较原理，证明值函数为最大解。
• 应用Itô公式和先验估计，证明值函数与动态成本泛函的正则性与连续性。
• 通过扰动论证与稳定性估计，证明其在时间和空间上的连续性，依赖于系数的Lipschitz条件以及状态过程的马尔可夫性质。

实验结果

研究问题

• RQ1 能否为具有随机系数的完全非线性随机HJB方程构建粘性解框架？
• RQ2 最优随机控制问题的值函数是否为关联随机HJB方程的最大粘性解？
• RQ3 在何种条件下，随机HJB方程的粘性解是唯一的？
• RQ4 系数的非马尔可夫结构如何影响随机HJB方程的正则性与可解性？
• RQ5 在具有随机系数的完全非线性随机HJB方程背景下，能否严格证明动态规划原理？

主要发现

• 在给定假设下，值函数 $V(t,x)$ 是随机HJB方程（1.5）的最大粘性解。
• 在扩散系数 $\sigma$ 为确定性（即关于 $\omega$ 独立）的超抛物情形下，粘性解具有唯一性。
• 值函数 $V(t,x)$ 几乎必然关于 $t$ 连续，关于 $x$ 为Lipschitz连续，且满足 $|V(t,x) - V(s,y)| \to 0$ 当 $(s,y) \to (t,x)$。
• 动态成本泛函 $J(t,x;\theta)$ 关于 $t$ 连续，关于 $x$ 为Lipschitz连续，且对所有控制 $\theta$ 一致成立。
• 值函数以粘性意义满足随机HJB方程，其中生成元 $\mathbb{H}$ 通过控制集上的essential infimum定义。
• 解的结构与随机Feynman-Kac公式及倒向随机PDE理论一致，将经典结果推广至完全非线性设定。