[论文解读] Stochastic Impulse Control of Non-Markovian Processes

Boualem Djehiche, Saïd Hamadène+1 more|ArXiv.org|Jun 17, 2008

Stochastic processes and financial applications参考文献 7被引用 4

一句话总结

本文通过反射倒向随机微分方程（RBSDEs）和Snell上包络，利用非马氏过程的最优随机脉冲控制的存在性，克服了经典拟变分不等式方法的局限。关键贡献是在一般条件下（包括随机系数和路径依赖奖励函数）提供了严格的证明，通过构建一个收敛的有限脉冲策略逼近方案。

ABSTRACT

We consider a class of stochastic impulse control problems of general stochastic processes i.e. not necessarily Markovian. Under fairly general conditions we establish existence of an optimal impulse control. We also prove existence of combined optimal stochastic and impulse control of a fairly general class of diffusions with random coefficients. Unlike, in the Markovian framework, we cannot apply quasi-variational inequalities techniques. We rather derive the main results using techniques involving reflected BSDEs and the Snell envelope.

研究动机与目标

• 解决在经典拟变分不等式方法失效的非马氏设定下，随机脉冲控制缺乏存在性结果的问题。
• 将最优控制理论扩展至具有随机系数和路径依赖奖励函数的过程。
• 在一般可积性和适应性条件下，建立最优脉冲控制的存在性。
• 通过Beneës型选择定理，统一处理随机与脉冲控制的联合问题。

提出的方法

• 价值过程被表征为奖励过程的Snell上包络，确保其为支配奖励过程的最小上鞅。
• 使用反射倒向随机微分方程（RBSDEs）表示价值过程，其中反射项代表脉冲控制成本。
• 通过构造具有有界脉冲次数的脉冲控制逼近方案，其价值过程收敛于真实价值过程。
• 利用可选过程的统一可积性及[D]类性质，证明逼近价值过程的收敛性。
• 通过RBSDE解的唯一性，将最优控制表示为有限脉冲策略下最优控制的极限。
• 应用Beneës型选择定理，构建混合随机与脉冲控制设定下的最优策略。

实验结果

研究问题

• RQ1 对于奖励函数依赖于过程整个路径的非马氏过程，能否保证存在最优随机脉冲控制？
• RQ2 由于缺乏马氏结构，是否导致拟变分不等式方法失效？若如此，何种替代框架可确保最优控制的存在性？
• RQ3 在较弱可积性条件下，一般脉冲控制问题的价值过程能否表示为Snell上包络及反射BSDE的解？
• RQ4 对于具有有界脉冲的有限horizon脉冲控制问题，其最优控制策略是否收敛于所有可接受脉冲序列上的最优策略？
• RQ5 如何为具有随机系数的扩散过程构造联合最优随机与脉冲控制？

主要发现

• 脉冲控制问题的价值过程被证明是奖励过程的Snell上包络，等价于反射BSDE的解。
• 在系数具有弱可积性条件时，反射BSDE系统解的存在性与唯一性得到保证。
• 脉冲控制问题的价值过程是有限脉冲策略相关价值过程的极限，随着脉冲数增加而收敛。
• 对于具有随机系数和路径依赖奖励函数的一般非马氏过程类，最优脉冲控制策略存在。
• 最优控制被构造为有界脉冲策略下最优控制序列的极限，确保在期望意义下的收敛性。
• 在混合随机与脉冲控制设定中，通过应用Beneës型选择定理，推导出最优策略，将框架扩展至更广泛的扩散过程。