[论文解读] Time-Inconsistent Optimal Control Problems and the Equilibrium HJB Equation

Jiongmin Yong|arXiv (Cornell University)|Apr 3, 2012

Stochastic processes and financial applications参考文献 10被引用 23

一句话总结

本文为具有确定系数的随机系统中的时间不一致最优控制问题构建了哈密顿-雅可比-贝尔曼（HJB）方程框架。通过一种新颖的积分方程公式，建立了均衡解的存在性与唯一性，从而实现了线性二次型及默顿投资组合问题的时间一致性策略构造。

ABSTRACT

A general time-inconsistent optimal control problem is considered for stochastic differential equations with deterministic coefficients. Under suitable conditions, a Hamilton-Jacobi-Bellman type equation is derived for the equilibrium value function of the problem. Well-posedness and some properties of such an equation is studied, and time-consistent equilibrium strategies are constructed. As special cases, the linear-quadratic problem and a generalized Merton's portfolio problem are investigated.

研究动机与目标

• 解决由于非指数贴现导致标准动态规划失效的随机微分方程中的时间不一致最优控制问题。
• 推导出 governing 该类问题均衡值函数的哈密顿-雅可比-贝尔曼型方程。
• 在适当条件下，建立均衡HJB方程的适定性与结构性质。
• 为特定问题类别（包括线性二次型和广义默顿投资组合模型）构造时间一致性均衡控制。
• 通过前向-后向SDE与积分方程，为非马尔可夫、时间不一致情形下的均衡策略提供严格的数学框架。

提出的方法

• 推导一个前向-后向随机微分方程（FBSDE）系统，以刻画均衡控制与值函数。
• 引入均衡HJB方程，作为时间不一致控制问题中时间一致性策略的必要条件。
• 利用涉及函数 $\varphi(t,t)$ 的新颖积分方程，刻画均衡值函数 $V(t,x) = \varphi(t,t)x^\beta$。
• 应用压缩映射定理与延拓法，证明关于 $z(t) = \varphi(t,t)/\nu(t,t)$ 的积分方程的适定性。
• 在 $\nu(t,s)$ 与 $\rho(t)$ 满足特定条件时，利用Gronwall型不等式建立解 $z(t)$ 的上界。
• 通过 $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$ 与 $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$ 显式构造时间一致性均衡策略。

实验结果

研究问题

• RQ1 如何刻画具有时间不一致偏好的随机最优控制问题中的时间一致性均衡策略？
• RQ2 在非马尔可夫、时间不一致的设定下，应采用何种HJB型方程来 governing 均衡值函数？
• RQ3 在何种条件下，均衡HJB方程是适定的，并且存在唯一解？
• RQ4 如何为线性二次型与默顿型投资组合问题在时间不一致情形下显式构造时间一致性控制？
• RQ5 关于 $z(t)$ 的积分方程在确保均衡解存在性与唯一性方面起什么作用？

主要发现

• 均衡HJB方程被推导为时间不一致最优控制问题中时间一致性策略的必要条件。
• 通过将压缩映射法应用于 $z(t)$ 的积分方程，建立了均衡HJB方程的适定性。
• 在条件 $\bar{\lambda} = \sup_{t<s} \frac{-\ln \nu(t,s)}{s - t} < \infty$ 下，导出解 $z(t)$ 的先验界：$e^{(\lambda - \bar{\lambda})(T - t)} \min \rho \leq z(t) \leq e^{\lambda(T - t)} \max \rho$。
• 对于线性二次型问题，均衡控制显式给出为 $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$，消费为 $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$。
• 均衡值函数为 $V(t,x) = \varphi(t,t)x^\beta$，其中 $\varphi(t,t)$ 满足积分方程 (6.20)。
• 在给定条件下，积分方程的解唯一，从而确保唯一时间一致性均衡策略的存在。