[论文解读] Time-Inconsistent Stochastic Optimal Control Problems and Backward Stochastic Volterra Integral Equations

Hanxiao Wang, Jiongmin Yong|arXiv (Cornell University)|Nov 12, 2019

Stochastic processes and financial applications参考文献 43被引用 11

一句话总结

本文通过使用倒向随机伏尔泰拉积分方程（BSVIE）建模代价泛函，解决了时间不一致的随机最优控制问题，实现了递归的、非指数型贴现。通过多人微分博弈方法，作者推导出均衡汉密尔顿-雅可比-贝尔曼（HJB）方程，并建立了验证定理，引入了一类涉及对角项 $ Z(s,s) $ 的新型BSVIE，在适当条件下实现了适定性与均衡策略的表征。

ABSTRACT

An optimal control problem is considered for a stochastic differential equation with the cost functional determined by a backward stochastic Volterra integral equation (BSVIE, for short). This kind of cost functional can cover the general discounting (including exponential and non-exponential) situation with a recursive feature. It is known that such a problem is time-inconsistent in general. Therefore, instead of finding a global optimal control, we look for a time-consistent locally near optimal equilibrium strategy. With the idea of multi-person differential games, a family of approximate equilibrium strategies is constructed associated with partitions of the time intervals. By sending the mesh size of the time interval partition to zero, an equilibrium Hamilton--Jacobi--Bellman (HJB, for short) equation is derived, through which the equilibrium valued function and an equilibrium strategy are obtained. Under certain conditions, a verification theorem is proved and the well-posedness of the equilibrium HJB is established. As a sort of Feynman-Kac formula for the equilibrium HJB equation, a new class of BSVIEs (containing the diagonal value $Z(r,r)$ of $Z(\cd,\cd)$) is naturally introduced and the well-posedness of such kind of equations is briefly presented.

研究动机与目标

• 解决标准指数贴现无法捕捉递归效用或行为偏好时的时间不一致随机最优控制问题。
• 通过倒向随机伏尔泰拉积分方程（BSVIE）建模代价泛函，实现一般性（非指数型）且递归的贴现。
• 通过多人微分博弈框架构建时间一致的、局部近似最优的均衡策略。
• 推导并分析刻画均衡值函数与策略的均衡汉密尔顿-雅可比-贝尔曼（HJB）方程。
• 引入并研究一类新型BSVIE，其中显式包含对角项 $ Z(s,s) $，为均衡HJB方程提供Feynman–Kac型表示。

提出的方法

• 通过状态过程 $ X(s) $ 和控制 $ u(s) $ 的前向SDE表述控制问题，受布朗运动驱动。
• 通过BSVIE定义代价泛函：$ Y(t) = h(t,X(T)) + \int_t^T g(t,r,X(r),u(r),Y(r),Z(t,r))dr - \int_t^T Z(t,r)dW(r) $，其中 $ J(t,\xi;u(\cdot)) = Y(t) $。
• 通过时间划分构造近似均衡策略，并应用多人微分博弈方法推导均衡HJB方程。
• 推导包含 $ \Theta(t,s,x) $ 的均衡HJB方程，终端条件为 $ \Theta(t,T,x) = h(t,x) $，并表明与先前工作相比，$ \Theta(s,s,x) $ 取代了 $ \Theta(t,s,x) $。
• 引入一类新型BSVIE，显式包含对角值 $ Z(s,s) $，并在适当条件下建立其适定性。
• 证明验证定理，将均衡HJB方程的解与均衡策略及值函数联系起来。

实验结果

研究问题

• RQ1 如何通过倒向随机伏尔泰拉积分方程（BSVIE）表述具有非指数型与递归贴现的时间不一致最优控制问题？
• RQ2 刻画此类问题中时间一致、局部近似最优策略的均衡汉密尔顿-雅可比-贝尔曼（HJB）方程具有何种结构？
• RQ3 在BSVIE中引入对角项 $ Z(s,s) $ 如何影响均衡HJB方程的表述与求解？
• RQ4 在何种条件下均衡HJB方程是适定的，且何时可建立验证定理？
• RQ5 相较于参数化BSDE，使用BSVIE对时间不一致控制中的递归代价泛函有何影响？

主要发现

• 本文推导的均衡HJB方程在扩散项中用 $ \Theta(s,s,x) $ 替代了 $ \Theta(t,s,x) $，相比先前方法，形式更自然且数学上更简化。
• 引入一类新型倒向随机伏尔泰拉积分方程，显式包含对角项 $ Z(s,s) $，该形式自然地作为均衡HJB方程的Feynman–Kac表示。
• 在系数满足适当正则性与有界性条件（包括非退化扩散）下，建立了均衡HJB方程的适定性。
• 证明了验证定理，确认均衡HJB方程的解可产生时间一致、局部近似最优的均衡策略。
• 通过多人微分博弈与BSVIE的方法，相较于参数化BSDE，为递归非指数贴现提供了更一致且结构更稳固的框架。
• 本文指出了开放问题，包括在退化扩散下均衡HJB方程的可解性，以及当反馈映射 $ \psi $ 不规则或不唯一时使用粘性解的可能性。