[论文解读] Optimal control of branching diffusion processes: a finite horizon problem

Julien Claisse|arXiv (Cornell University)|Nov 20, 2015

Stochastic processes and statistical mechanics参考文献 25被引用 9

一句话总结

本文提出了一种动态规划方法，用于有限时域准则下分支扩散过程的最优随机控制，其中粒子的运动与繁殖均受控，且依赖于位置与控制。该研究将值函数确立为非线性汉密尔顿-雅可比-贝尔曼（HJB）方程的唯一粘性解，通过一种新颖的概率构造和严格的动态规划原理，将Nisio的框架扩展至处理依赖粒子动力学与控制相关繁殖的情形。

ABSTRACT

In this paper, we aim to develop the theory of optimal stochastic control for branching diffusion processes where both the movement and the reproduction of the particles depend on the control. More precisely, we study the problem of minimizing a criterion that is expressed as the expected value of the product of individual costs penalizing the final position of each particle. In this setting, we show that the value function is the unique viscosity solution of a nonlinear parabolic PDE, that is, the Hamilton-Jacobi-Bellman equation corresponding to the problem. To this end, we extend the dynamic programming approach initiated by Nisio to deal with the lack of independence between the particles as well as between the reproduction and the movement of each particle. In particular, we exploit the particular form of the optimization criterion to recover a weak form of the branching property. In addition, we provide a precise formulation and a detailed justification of the adequate dynamic programming principle.

研究动机与目标

• 将最优随机控制理论扩展至粒子运动与繁殖均受控的分支扩散过程。
• 解决受控分支过程中粒子之间以及繁殖与运动之间缺乏独立性的问题。
• 通过允许寿命和后代分布依赖于位置与控制，推广Nisio的工作。
• 在非马尔可夫、非独立同分布的设定下，建立具有依赖粒子动力学的严格动态规划原理（DPP）。
• 证明值函数是相应非线性HJB方程的唯一粘性解。

提出的方法

• 采用鞅问题方法构建受控分支扩散过程，以建模控制相关运动与繁殖。
• 引入扩展概率空间以处理粒子之间与控制动作之间的依赖关系。
• 基于Krylov关于完全非线性PDE光滑解存在的结果，应用近似程序。
• 采用扰动方案，通过对应正则化问题的光滑函数逼近值函数。
• 推导分支性质的弱形式，以在缺乏独立性的情况下恢复关键结构。
• 通过逼近序列的一致收敛性与紧致性估计，建立动态规划原理。

实验结果

研究问题

• RQ1 在具有依赖粒子动力学的受控分支扩散过程中，如何严格证明动态规划原理的成立？
• RQ2 对于具有粒子乘积型成本的有限时域最优控制问题，HJB方程的正确形式是什么？
• RQ3 在控制框架中，如何处理粒子之间以及繁殖与运动之间缺乏独立性的问题？
• RQ4 在非马尔可夫、测度取值的设定下，值函数能否被表征为非线性PDE的唯一粘性解？
• RQ5 为适应控制相关繁殖与空间依赖性，对经典动态规划方法需作何种修改？

主要发现

• 值函数是与最优控制问题相关的非线性抛物HJB方程的唯一粘性解。
• 动态规划原理以双向不等式形式成立，涉及在扩展概率空间中对控制取下确界与对停止时间取上确界。
• 逼近序列的值函数在所有停止时间上一致收敛至真实值函数，从而实现严格的极限传递。
• 本文提出了一种新的受控分支扩散过程构造方法，可实现依赖于位置与控制的繁殖与寿命。
• 尽管粒子与控制动作之间缺乏独立性，该方法仍能恢复分支性质的弱形式。
• 通过新颖的逼近与极限过程，推导并验证了HJB方程，将经典结果推广至非独立同分布的分支系统。