[论文解读] Risk-Sensitive Mean-Field-Type Control

Alain Bensoussan, Boualem Djehiche+2 more|arXiv (Cornell University)|Jan 1, 2017

Stochastic processes and financial applications参考文献 1被引用 5

一句话总结

该论文为随机微分方程构建了一个风险敏感型均场类型最优控制框架，其中系数和代价泛函依赖于状态、控制和初始分布的分布律。通过使用对偶汉密尔顿-雅可比-贝尔曼方程与福克-普朗克方程系统，推导出连接贝尔曼对偶函数与伴随过程的无穷维最优性方程，该过程基于随机最大值原理。针对线性-指数-二次情形给出了显式解，并对小风险敏感参数提供了渐近近似。

ABSTRACT

We study risk-sensitive optimal control of a stochastic differential equation (SDE) of mean-field type, where the coefficients are allowed to depend on some functional of the law as well as the state and control processes. Moreover the risk-sensitive cost functional is also of mean-field type. We derive optimality equations in infinite dimensions connecting dual functions associated with Bellman functional to the adjoint process of the Pontryagin maximum principle. The case of linear-exponentiated quadratic cost and its connection with the risk-neutral solution is discussed.

研究动机与目标

• 将风险敏感型控制扩展至均场类型系统，其中动力学与代价依赖于状态与控制过程的分布律。
• 利用随机最大值原理，在无穷维空间中建立贝尔曼泛函与伴随过程之间的对偶性。
• 分析线性-指数-二次情形，推导显式解与小风险敏感参数下的近似解。
• 研究当风险敏感指数 α 趋近于零时，风险敏感最优性向风险中性极限的收敛性。

提出的方法

• 为风险敏感型均场控制引入对偶汉密尔顿-雅可比-贝尔曼（dHJB）与福克-普朗克（FP）方程系统。
• 通过引入辅助过程 z(t) = ∫₀ᵗ f(x(s),v(s))ds，采用状态增强技术，将风险敏感代价转化为终态泛函。
• 对增强状态 (x(t), z(t)) 应用动态规划，推导出值函数 Φα(x,z,t) 的贝尔曼方程。
• 通过设定分离变量 Φα(x,z,t) = e^{αz} uα(x,t)，将偏微分方程简化为可解形式，求解 uα。
• 通过对比 Dxu / Dzu 的伊藤公式，推导出伴随过程 (p,q,l)，进而导出 π(t) 与 ω(t) 的里卡蒂型方程。
• 利用摄动假设 uβ(x,z,t) = e^{αβy(T)} ˜u(x,z,t)，发展小 β（分布依赖参数）下的渐近近似，其中 ˜u 由 ˆu 近似。

实验结果

研究问题

• RQ1 当系数与代价泛函依赖于状态与控制过程的分布律时，如何构建风险敏感型均场控制的数学形式？
• RQ2 在随机最大值原理框架下，如何建立连接对偶贝尔曼函数与伴随过程的无穷维最优性系统？
• RQ3 当风险敏感指数 α → 0 时，风险敏感解如何收敛至风险中性解？
• RQ4 在小分布依赖（β 较小）条件下，线性-指数-二次情形的显式解与近似解是什么？
• RQ5 π(t) 与 ω(t) 的里卡蒂方程在风险敏感设定下如何支配最优控制与状态动力学？

主要发现

• 风险敏感值函数显式表示为 vα = Dzu(0,x₀,0)/α = χ(0)/α，其中 χ(0) 为对偶过程的初始值。
• 最优控制由比值 p = Dxu / Dzu 表征，其满足由里卡蒂解 π(t) 与 ω(t) 驱动的随机微分方程。
• 期望状态 y(t) = E[x(t)] 满足常微分方程 ẏ = (a − b²π)y − βb²ωχ(0)E[χ⁻¹(t)]，表明其依赖于风险敏感性与分布结构。
• 当 β 较小时，值函数近似为 ˆu(x,z,t) = u₀(x,z,t) + αβxω(t)λ(T)，其中 ω(t) = exp(∫ₜᵀ [a − b²Π(s)]ds)，显著提升可计算性。
• 对分布依赖测度 µ 的近似由 ˆµ 控制，其满足漂移为 (a − b²Π)x、扩散为 b²Π²x² 的福克-普朗克方程，从而可显式计算 E[x(t)]。
• 在 t = T 时，渐近近似具有一致性，误差项为 O(β²)，验证了小 β 条件下摄动方法的有效性。