[论文解读] Two Different Approaches to Stochastic Recursive Optimal Control Problem with Delay and Applications

Jingtao Shi|arXiv (Cornell University)|Apr 23, 2013

Stochastic processes and financial applications参考文献 18被引用 1

一句话总结

本文提出了两种不同的方法——动态规划与随机最大值原理——以解决带有时间延迟的随机递归最优控制问题，采用后向与前向-后向随机微分方程。建立了广义的汉密尔顿-雅可比-贝尔曼方程，并证明在有限维空间中，两种方法所得的显式解一致，展示了其在递归效用投资组合优化中的一致性与适用性。

ABSTRACT

This paper is concerned with a stochastic recursive optimal control problem with time delay, where the controlled system is described by a stochastic differential delayed equation (SDDE) and the cost functional is formulated as the solution to a backward SDDE (BSDDE). When there are only the pointwise and distributed time delays in the state variable, a generalized Hamilton-Jacobi-Bellman (HJB) equation for the value function in finite dimensional space is obtained, applying dynamic programming principle. This generalized HJB equation admits a smooth solution when the coefficients satisfy a particular system of first order partial differential equations (PDEs). A sufficient maximum principle is derived, where the adjoint equation is a forward-backward SDDE (FBSDDE). Under some differentiability assumptions, the relationship between the value function, the adjoint processes and the generalized Hamiltonian function is obtained. A consumption and portfolio optimization problem with recursive utility in the financial market, is discussed to show the applications of our result. Explicit solutions in a finite dimensional space derived by the two different approaches, coincide.

研究动机与目标

• 解决状态动态中涉及时间延迟的随机递归最优控制问题。
• 利用动态规划原理，在有限维空间中为值函数推导广义的汉密尔顿-雅可比-贝尔曼方程。
• 通过作为前向-后向随机微分方程构造的伴随方程，建立充分最大值原理。
• 在可微性假设下，探讨值函数、伴随过程与广义哈密顿函数之间的关系。
• 通过一个递归效用消费与投资组合优化问题，展示理论结果的适用性。

提出的方法

• 使用带点时滞与分布时滞的随机时滞微分方程（SDDE）来表述受控系统。
• 将成本泛函定义为后向随机微分方程（BSDDE）的解，以实现递归效用建模。
• 应用动态规划原理，在有限维空间中推导广义HJB方程。
• 建立广义HJB方程存在光滑解的条件，通过一组一阶偏微分方程系统实现。
• 通过作为前向-后向随机微分方程（FBSDDE）的伴随方程，推导出充分最大值原理。
• 在可微性假设下，建立值函数、伴随过程与广义哈密顿函数之间的联系。

实验结果

研究问题

• RQ1 动态规划原理如何扩展至状态变量中包含时间延迟的随机递归控制问题？
• RQ2 此类问题的广义汉密尔顿-雅可比-贝尔曼方程的形式为何？在何种条件下其存在光滑解？
• RQ3 在该延迟的、递归的控制设定下，充分最大值原理如何应用？其关联的伴随方程具有何种结构？
• RQ4 在此背景下，值函数、伴随过程与广义哈密顿函数函数之间存在何种关系？
• RQ5 在具体的金融应用中，动态规划与最大值原理方法能否得到一致的显式解？

主要发现

• 为有限维空间中的值函数推导出包含状态变量时间延迟的广义汉密尔顿-雅可比-贝尔曼方程。
• 当系数满足特定的一阶偏微分方程组时，广义HJB方程存在光滑解。
• 建立了充分最大值原理，其伴随方程以前向-后向随机微分方程（FBSDDE）的形式表述。
• 在可微性假设下，精确获得了值函数、伴随过程与广义哈密顿函数之间的关系。
• 在递归效用消费与投资组合优化问题中，通过两种方法（动态规划与最大值原理）得到的显式解被证明完全一致。