[论文解读] Stochastic derivatives and generalized h-transforms of Markov processes

Christian Léonard|arXiv (Cornell University)|Feb 15, 2011

Mathematical Dynamics and Fractals参考文献 17被引用 4

一句话总结

本文在不假设时间非齐次势 $V$、初始权重 $f_0$ 或终端权重 $g_1$ 的正则性条件下，推导了马尔可夫过程广义 $h$-变换的无穷小生成元。研究证明，通过费曼-卡茨型 Radon-Nikodym 密度定义的变换测度 $P$ 的随机导数，可直接给出 $P$ 的生成元，其关键结果为：$P$ 的扩散方程中额外漂移项由 $P$-扩展梯度 $\widetilde{\nabla}^P \psi(t,x)$ 给出，其中 $\psi(t,x)$ 为满足黏性形式 HJB 方程的对数似然函数。

ABSTRACT

Let $R$ be a continuous-time Markov process on the time interval $[0,1]$ with values in some state space $X$. We transform this reference process $R$ into $P:=f(X_0)\exp (-\int_0^1 V_t(X_t) dt) g(X_1)\,R$ where $f,g$ are nonnegative measurable functions on X and V is some measurable function on $[0,1] imes X$. It is easily seen that $P$ is also Markov. The aim of this paper is to identify the Markov generator of $P$ in terms of the Markov generator of $R$ and of the additional ingredients: $f,g$ and $V$ in absence of regularity assumptions on $f,g$ and $V.$ As a first step, we show that the extended generator of a Markov process is essentially its stochastic derivative. Then, we compute the stochastic derivative of $P$ to identify its generator, under a finite entropy condition. The abstract results are illustrated with continuous diffusion processes on $\mathbb{R}^d$ and Metropolis algorithms on a discrete space.

研究动机与目标

• 在不假设 $f_0$、$g_1$ 或 $V$ 正则性的前提下，识别通过参考马尔可夫过程 $R$ 的广义 $h$-变换得到的时间非齐次马尔可夫过程 $P$ 的无穷小生成元。
• 建立 $P$ 的随机导数与其生成元之间的联系，证明在相对熵有限条件下，其扩展生成元等价于其随机导数。
• 在两种关键情形下提供 $P$ 的生成元和转移动态的显式表达式：$\mathbb{R}^d$ 上的连续扩散过程，以及离散状态空间上的连续时间跳跃过程。
• 通过引入时间依赖势 $V_t$ 并允许 $f_0$、$g_1$ 和 $V$ 不光滑，推广杜布的经典 $h$-变换。

提出的方法

• 本文利用概率测度的随机导数概念，识别 $P$ 的生成元，证明在相对熵有限条件下，$P$ 的扩展生成元与其随机导数一致。
• 应用 Girsanov 理论与鞅问题技术，将 $P$ 表征为新鞅问题 $\mathrm{MP}(J^P; P_0)$ 的唯一解，其中 $J^P$ 为时间非齐次跳跃率。
• 核心要素是函数 $\psi(t,x) = \log E_R[\exp(-\int_t^1 V_s(X_s)ds) g_1(X_1) \mid X_t = x]$，其通过 $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$ 定义动力学的偏移。
• 对于扩散过程，额外漂移 $\beta(t,x)$ 被证明为 $P$-扩展梯度 $\widetilde{\nabla}^P \psi(t,x)$，当扩散矩阵满秩时，该表达式退化为 $\nabla \psi$。
• 对于跳跃过程，通过扩展生成元 $\Gamma^R(g,u)/g$ 推导出生成元，得到依赖于 $\psi$ 的离散梯度指数的时变跳跃率 $J^P$。
• 本文证明 $\psi$ 是唯一连续的黏性解，满足包含生成元 $\mathcal{L}^R$、势 $V$ 和凸函数 $\theta(a) = e^a - a - 1$ 的时变 HJB 方程。

实验结果

研究问题

• RQ1 在不假设正则性条件下，广义 $h$-变换 $P$ 的生成元如何用参考过程 $R$ 的生成元以及函数 $f_0$、$g_1$ 和 $V$ 表示？
• RQ2 在通过费曼-卡茨密度实现测度变换下，随机导数在刻画时间非齐次马尔可夫过程生成元时起什么作用？
• RQ3 在 $P$ 的 SDE 中，额外漂移项与时间非齐次哈密顿-雅可比-贝尔曼（HJB）方程的解有何关系？
• RQ4 能否通过时变鞅问题完全刻画 $P$ 的动态？在何种条件下 $P$ 是该问题的唯一解？
• RQ5 在该变换下，跳跃过程的转移核 $J^P$ 的结构如何？其与函数 $\psi$ 的关系是什么？

主要发现

• 证明在相对熵有限条件下，测度 $P$ 的随机导数与其扩展生成元等价，为 $P$ 的生成元提供了新表征方式。
• 对于连续扩散过程，$P$ 的 SDE 中的额外漂移 $\beta(t,x)$ 由 $\widetilde{\nabla}^P \psi(t,x)$ 给出，其中 $\psi(t,x)$ 为给定 $X_t = x$ 时终端权重 $g_1(X_1)$ 条件期望的对数。
• 在扩散情形下，$\psi(t,x)$ 是如下 HJB 方程的黏性解：$\mathcal{L}^R \psi(t,x) + \int_{\mathcal{X}} \theta(D\psi_t(x;y)) J(x;dy) - V(t,x) = 0$，定义于 $[0,1) \times \mathcal{X}$，终端条件为 $\psi_1(x) = \log g_1(x)$。
• 对于跳跃过程，变换后的跳跃率形式为 $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$，为时变且依赖于状态的测度变换。
• $\psi(t,x)$ 几乎处处关于 $dt P_t(dx)$ 有定义，且即使 $V$ 仅可测、$g$ 不可时间可微，$\psi$ 仍是唯一连续黏性解。
• 本文证明 $P$ 是集合 $\{Q \in \mathcal{P}(\Omega) : H(Q|R) < \infty\}$ 中鞅问题 $\mathrm{MP}(J^P; P_0)$ 的唯一解，其中 $P_0 = f_0 g_0 m^0$。