[论文解读] Robust Sensitivity Analysis for Stochastic Systems

Henry Lam|arXiv (Cornell University)|Mar 2, 2013

Probabilistic and Robust Engineering Design参考文献 58被引用 9

一句话总结

本文提出了一种针对模型误设下随机系统的渐近敏感性分析框架，使用Kullback-Leibler（KL）散度量化不确定性。它推导了在基准模型周围最坏情况性能度量的无穷小展开式，其系数可通过模拟计算，从而为具有独立同分布输入的复杂系统提供了可处理的非参数敏感性分析。

ABSTRACT

We study a worst-case approach to measure the sensitivity to model misspecification in the performance analysis of stochastic systems. The situation of interest is when only minimal parametric information is available on the form of the true model. Under this setting, we post optimization programs that compute the worst-case performance measures, subject to constraints on the amount of model misspecification measured by Kullback-Leibler (KL) divergence. Our main contribution is the development of infinitesimal approximations for these programs, resulting in asymptotic expansions of their optimal values in terms of the divergence. The coefficients of these expansions can be computed via simulation, and are mathematically derived from the representation of the worst-case models as changes of measure that satisfy a well-defined class of functional fixed point equations.

研究动机与目标

• 解决仅掌握基准模型而真实模型未知时，评估性能鲁棒性的挑战。
• 为具有独立同分布输入的随机系统，开发一种可处理的非参数敏感性分析框架。
• 在KL散度约束下计算最坏情况性能度量，即使优化问题为非凸且无限维。
• 推导当模型不确定性（KL散度）趋近于零时，最坏情况性能的渐近展开式。
• 实现通过模拟计算的敏感性系数，以量化模型误设的影响。

提出的方法

• 将最坏情况性能优化表述为以KL散度作为基准测度$P_0$偏离的约束。
• 应用无穷小分析，将最坏情况性能的最优值展开为$\sqrt{\eta}$的幂级数，其中$\eta$为KL散度的上界。
• 通过在最坏情况模型下满足泛函不动点方程的测度变换，推导展开式的系数。
• 利用Donsker-Varadhan变分原理和拉格朗日松弛法，通过泛函方程刻画最坏情况测度。
• 采用停止时间论证和收敛性结果，证明当$\eta \to 0$时，最坏情况似然比的极限行为。
• 证明展开式的系数可在基准测度$P_0$下通过模拟计算。

实验结果

研究问题

• RQ1 当仅知基准模型而真实模型误设时，如何量化最坏情况性能？
• RQ2 当模型不确定性（以KL散度衡量）趋近于零时，最坏情况性能的渐近行为如何？
• RQ3 能否通过以发散水平为变量的级数展开，近似性能度量对模型误设的敏感性？
• RQ4 此类展开式的系数是否可在基准模型下通过模拟计算？
• RQ5 如何使随机系统中非凸、无限维的最坏情况优化问题变得可处理？

主要发现

• 最坏情况性能度量的最优值在$\sqrt{\eta}$的幂次上具有渐近展开式，其中$\eta$为KL散度上界。
• 展开式中的一阶系数$\zeta_1(P_0, h)$捕捉了性能对模型误设的主导阶敏感性。
• $\zeta_1, \zeta_2, \dots$等系数可显式表示为代价函数$h$与基准测度$P_0$的函数。
• 这些系数可在基准测度$P_0$下通过蒙特卡洛模拟计算，从而实现实际应用。
• 最坏情况模型对应于由涉及代价函数和似然比的泛函不动点方程的解所定义的测度变换。
• 通过停止时间论证和矩界，严格建立了最坏情况似然比及其熵项的收敛性。