[论文解读] Some sensitivity results in stochastic optimal control: A Lagrange multiplier point of view

Julio Backhoff‐Veraguas, F.J.G. Silva|arXiv (Cornell University)|Apr 2, 2014

Stochastic processes and financial applications参考文献 22被引用 3

一句话总结

本文通过弱形式的庞特里亚金原理，建立了拉格朗日乘子与随机最优控制中伴随过程之间的严格联系，实现了对动力学无限维扰动（包括随机系数和期望型约束）下值函数的一阶敏感性分析。

ABSTRACT

In this work we provide a first order sensitivity analysis of some parameterized stochastic optimal control problems. The parameters can be given by random processes. The main tool is the one-to-one correspondence between the adjoint states appearing in a weak form of the stochastic Pontryagin principle and the Lagrange multipliers associated to the state equation.

研究动机与目标

• 建立一个函数分析框架，将随机庞特里亚金原理中的伴随过程与约束优化中的拉格朗日乘子联系起来。
• 将凸对偶性和拉格朗日乘子技术扩展到具有随机系数的非凸、非线性随机最优控制问题。
• 实现对随机微分方程（SDE）动力学无限维扰动下值函数的一阶敏感性分析，包括漂移、扩散和初始条件参数。
• 形式化弱庞特里亚金乘子与与状态方程约束相关的拉格朗日乘子之间的关系。
• 将该框架应用于具体问题，如均值-方差投资组合选择，通过通用理论恢复已知的显式敏感性。

提出的方法

• 将随机最优控制问题表述为希尔伯特空间中伊藤过程的约束优化问题。
• 引入一对弱庞特里亚金乘子 (p, q)，满足一阶最优性条件，而非完整的哈密顿函数最小化。
• 定义拉格朗日乘子过程 λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s)，表明其为伊藤过程，并对应于SDE约束。
• 利用伊藤公式和鞅性质，推导值函数对扰动的导数表达式。
• 将该框架应用于线性二次（LQ）和均值-方差投资组合选择问题，推导出显式敏感性公式。
• 在 r ≡ 0 且 μ, σ 有界的确定性一维情形下，将理论结果与已知显式解进行验证。

实验结果

研究问题

• RQ1 随机庞特里亚金原理中的伴随过程如何在约束优化框架中解释为拉格朗日乘子？
• RQ2 弱庞特里亚金乘子与与状态方程约束相关的拉格朗日乘子之间的确切关系是什么？
• RQ3 是否可以在SDE系数和初始条件的无限维扰动下，对值函数执行一阶敏感性分析？
• RQ4 所推导的敏感性公式与均值-方差投资组合选择问题中的已知显式解相比如何？
• RQ5 伊藤过程上的希尔伯特空间结构在确保拉格朗日乘子为伊藤过程方面起什么作用？

主要发现

• 建立了弱庞特里亚金乘子 (p, q) 与拉格朗日乘子 λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s) 之间的一一对应关系，后者为伊藤过程。
• 值函数对初始财富 x、目标 A、漂移 μ 和波动率 σ 的扰动的导数为 Dv(P;ΔP) = E[∫₀ᵀ p(t)π(t)Δμ(t)dt] + E[∫₀ᵀ q(t)π(t)Δσ(t)dt] + p(0)[Δx − ΔA]，并推导出显式表达式。
• 在 r ≡ 0 且 μ, σ 确定的均值-方差投资组合问题中，对初始财富的敏感性为 Dₓv = 2(x−A)Δx / (e^{∫Σ²ds}−1)，与已知值函数的显式导数一致。
• 对漂移参数 μ 的敏感性为 Dₘᵤv = −2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)Δμ(t))/σ(t)² dt，经验证与解析导数一致。
• 对波动率 σ 的敏感性为 Dσv = 2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)²Δσ(t))/σ(t)³ dt，与显式计算结果一致。
• 该理论框架在LQ情形下恢复了已知的显式敏感性，验证了方法的准确性和普适性。