[论文解读] The battle of total-order sensitivity estimators

Arnald Puy, William E. Becker+2 more|arXiv (Cornell University)|Sep 2, 2020

Probabilistic and Robust Engineering Design参考文献 7被引用 15

一句话总结

本研究在全面且高维的超立方体框架下评估了全阶敏感性估计器，将采样方法、输入分布、样本量、测试函数、维度以及高阶效应视为随机变量。结果表明，Razavi 和 Gupta 的估计器表现优于其他方法，其次为 Jansen 和 Janon/Monod 的估计器，为全局敏感性分析中选择最可靠估计器提供了明确指导。

ABSTRACT

Sensitivity analysis helps decision-makers to understand how a given model output responds when there is variation in the model inputs. One of the most authoritative measures in global sensitivity analysis is the Sobol' total-order index ($T_i$), which can be computed with several different estimators. Although previous comparisons exist, it is hard to know which estimator performs best since the results are contingent on several benchmark settings: the sampling method ($ au$), the distribution of the model inputs ($\phi$), the number of model runs ($N_t$), the test function or model ($\varepsilon$) and its dimensionality ($k$), the weight of higher order effects (e.g. second, third, $k_2,k_3$), or the performance measure selected ($\delta$). Here we break these limitations and simultaneously assess all total-order estimators in an eight-dimension hypercube where $( au, \phi, N_t, \varepsilon, k, k_2, k_3, \delta)$ are treated as random parameters. This design allows to create an unprecedentedly large range of benchmark scenarios. Our results indicate that, in general, the preferred estimator should be Razavi and Gupta's, followed by that of Jansen, or Janon/Monod. The remainder lag significantly behind in performance. Our work helps analysts navigate the myriad of total-order formulae by effectively eliminating the uncertainty in the selection of the best estimator.

研究动机与目标

• 为解决由于基准设置差异导致的最佳全阶敏感性估计器缺乏共识的问题。
• 克服以往比较中受限于固定配置的采样方法、输入分布、样本量和测试函数的局限性。
• 在广泛且随机化的基准场景范围内，同时评估所有主要的全阶估计器。
• 为全局敏感性分析中提供最稳健且可靠的估计器的最终推荐。

提出的方法

• 本研究采用高维超立方体设计，将八个关键参数——采样方法（au）、输入分布（φ）、样本量（Nt）、测试函数（ε）、维度（k）以及二阶和三阶效应的权重（k2, k3）——视为随机变量。
• 该方法生成了前所未有的大规模且多样的基准场景集合，实现了对估计器的全面、无偏比较。
• 通过一系列性能度量（δ）评估性能，确保在不同评估标准下的稳健性。
• 比较涵盖广泛使用的估计器：Razavi 和 Gupta、Jansen、Janon/Monod 及其他方法，结果在所有场景中汇总。

实验结果

研究问题

• RQ1 在广泛且现实多样的基准场景中，哪种全阶敏感性估计器表现最佳？
• RQ2 采样方法、输入分布、样本量以及高阶效应的变化在多大程度上影响估计器的性能？
• RQ3 不同的性能度量（δ）在多大程度上影响估计器的排名？
• RQ4 能否识别出一种在所有测试配置中始终表现更优的单一估计器？

主要发现

• Razavi 和 Gupta 的估计器在所有测试的基准场景范围内始终优于其他所有估计器。
• Jansen 的估计器性能排名第二，紧随其后的是 Janon/Monod 的估计器，两者均显著优于其余估计器。
• 其余估计器在准确性和可靠性方面明显落后，尤其是在高维或复杂输入结构下。
• 本研究采用的随机化、多维基准设计有效消除了以往比较中的偏差，为估计器选择提供了更稳健的基础。