[论文解读] The underlying connections between identifiability, active subspaces, and parameter space dimension reduction

Andrew F. Brouwer, Marisa C. Eisenberg|arXiv (Cornell University)|Feb 15, 2018

Model Reduction and Neural Networks参考文献 2被引用 7

一句话总结

本文通过敏感性费雪信息矩阵（FIM）建立了一个统一框架，将可识别性、主动子空间和参数空间维数约减联系起来。通过证明主动子空间、可识别性和松散性均源于同一数学结构——敏感性FIM，本文表明这些方法在本质上是相互关联的，从而实现了跨方法的洞察，并在多种科学应用中提升了模型约简与参数估计的鲁棒性。

ABSTRACT

The interactions between parameters, model structure, and outputs can determine what inferences, predictions, and control strategies are possible for a given system. Parameter space reduction and parameter estimation---and, more generally, understanding the shape of the information contained in models with observational structure---are thus essential for many questions in mathematical modeling and uncertainty quantification. As such, different disciplines have developed methods in parallel for approaching the questions in their field. Many of these approaches, including identifiability, sloppiness, and active subspaces, use related ideas to address questions of parameter dimension reduction, parameter estimation, and robustness of inferences and quantities of interest. In this paper, we show that active subspace methods have intrinsic connections to methods from sensitivity analysis and identifiability, and indeed that it is possible to frame each approach in a unified framework. A particular form of the Fisher information matrix (FIM), which we denote the sensitivity FIM, is fundamental to all three approaches---active subspaces, identifiability, and sloppiness. Through a series of examples and case studies, we illustrate the properties of the sensitivity FIM in several contexts. These initial examples show that the interplay between local and global and linear and non-linear strongly impact the insights each approach can generate. These observations underline that one's approach to parameter dimension reduction should be driven by the scientific question and also open the door to using tools from the other approaches to generate useful insights.

研究动机与目标

• 阐明可识别性、主动子空间与参数空间维数约简在数学建模中的理论与实践联系。
• 证明这些看似不同的方法在敏感性费雪信息矩阵（FIM）的共同基础上具有内在关联。
• 展示敏感性FIM如何在不同建模情境下一致地解释参数空间中的主动（敏感）与非主动（不敏感）方向。
• 说明代价函数与向量值输出量（QOIs）如何用于总结复杂输出，并提升维数约简的洞察力。
• 通过展示一种方法（如主动子空间）的工具可启发并增强另一方法（如可识别性与松散性）的策略，推动跨学科整合。

提出的方法

• 将敏感性FIM形式化为支撑主动子空间、可识别性与松散性的核心对象，基于局部敏感性分析。
• 将参数空间上的平均敏感性FIM（C）定义为被动子空间中的核心量，其由输出量（QOI）的黑塞矩阵导出。
• 对敏感性FIM进行特征分解，以识别参数空间中的主动方向（高特征值）与非主动方向（低特征值）。
• 使用充分总结图可视化第一个主动特征向量与标量QOI（如最小二乘代价函数）之间的关系，验证维数约简的有效性。
• 在不同QOI（标量q与向量y）及参数缩放方式（标准与中心化/标准化）下比较结果，以评估发现的鲁棒性与一致性。
• 在疾病传播模型上开展案例研究，展示该框架在具有可识别组合与补偿参数行为的实际应用中的实用性。

实验结果

研究问题

• RQ1 可识别性、主动子空间与松散性如何通过共同的底层结构数学关联？
• RQ2 敏感性FIM在多大程度上可作为跨不同建模学科的参数空间维数约简的统一框架？
• RQ3 局部与全局、线性与非线性、标量与向量值QOI如何影响对主动与非主动参数方向的解释？
• RQ4 代价函数能否有效用作总结QOI，以在具有时间序列或向量值输出的模型中实现维数约简？
• RQ5 参数缩放与变换如何影响主动子空间结果与充分总结图的稳定性与可解释性？

主要发现

• 敏感性FIM提供了一个统一的数学框架，将主动子空间、可识别性与松散性联系起来，揭示了它们对参数敏感性结构的共同依赖。
• 在疾病传播模型中，敏感性FIM的前两个特征向量对应于可识别组合：$k$ 和 $\beta_W + \beta_I$，而最后两个特征向量则捕捉了涉及 $\beta_W$ 与 $\beta_I$ 以及 $\xi$ 的不可识别、补偿性方向。
• 在快速 $\xi$ 参数区间，前两个特征值之后的特征值间隙更大，表明维数约简潜力更强，且主动与非主动方向的分离更清晰。
• 充分总结图显示，在快速 $\xi$ 情况下，第一个主动特征向量与代价函数 $q$ 之间存在强烈的一维关系，证实了代价函数作为向量QOI标量总结的有效性。
• 将参数缩放并中心化至 $(-1,1)$ 显著提升了充分总结图的清晰度，尤其在快速 $\xi$ 情况下，凸显了参数归一化在主动子空间分析中的重要性。
• 敏感性FIM的特征向量与特征值在不同QOI（标量 $q$ 与向量 $y$）下保持一致，表明该方法在不同输出表示下具有鲁棒性。