[论文解读] Stochastic Representations for Solutions to Nonlocal Bellman Equations

Ruoting Gong, Chenchen Mou+1 more|arXiv (Cornell University)|Sep 1, 2017

Stochastic processes and financial applications参考文献 14被引用 3

一句话总结

本文为有界区域中退化型哈密顿-雅可比-贝尔曼积分-偏微分方程的粘性解建立了一个随机表示。证明了解等价于一个随机最优控制问题的值函数，并推导出动态规划原理，通过粘性解将确定性PDE与随机控制联系起来。

ABSTRACT

We prove a stochastic representation formula for the viscosity solution of Dirichlet terminal-boundary value problem for a degenerate Hamilton-Jacobi-Bellman integro-partial differential equation in a bounded domain. We show that the unique viscosity solution is the value function of the associated stochastic optimal control problem. We also obtain the dynamic programming principle for the associated stochastic optimal control problem in a bounded domain.

研究动机与目标

• 为有界区域中退化型非局部哈密顿-雅可比-贝尔曼方程的粘性解建立一个随机表示公式。
• 证明唯一粘性解对应于相关随机最优控制问题的值函数。
• 推导有界区域中随机最优控制问题的动态规划原理。
• 通过粘性解理论弥合非局部PDE与随机控制理论之间的鸿沟。

提出的方法

• 作者使用粘性解理论分析带有狄利克雷终端-边界条件的退化型哈密顿-雅可比-贝尔曼积分-偏微分方程。
• 通过将PDE解与受控跳跃-扩散过程的期望值关联，构建了随机表示。
• 利用底层随机过程的马氏性及强马氏性，推导出动态规划原理。
• 证明依赖于粘性解的比较原理，以及对值函数作为粘性解的验证。
• 关键组成部分包括扩散-跳跃过程的生成元，以及表示勒维类型跳跃的非局部积分项。
• 分析在有界区域中进行，需对边界条件和退出时间进行仔细处理。

实验结果

研究问题

• RQ1 有界区域中退化型非局部哈密顿-雅可比-贝尔曼方程的粘性解能否以随机方式表示？
• RQ2 粘性解是否等价于具有跳跃的随机最优控制问题的值函数？
• RQ3 对于由此类非局部PDE控制的有界区域中的随机最优控制问题，动态规划原理是否成立？
• RQ4 边界条件与区域约束如何影响随机表示与值函数？

主要发现

• 非局部贝尔曼方程的唯一粘性解可表示为随机最优控制问题的值函数。
• 在扩散系数退化及存在勒维类型跳跃的假设下，该随机表示成立。
• 在有界区域设定下，该随机控制问题的动态规划原理被严格建立。
• 值函数在粘性意义下满足哈密顿-雅可比-贝尔曼方程，确认其与PDE解的一致性。
• 通过受控扩散过程离开区域的退出时间，边界条件得到恰当处理。
• 结果将经典随机控制理论扩展至有界区域中的非局部、退化PDE。