[论文解读] New improvements in the use of dependence measures for sensitivity analysis and screening

Matthias De Lozzo, Amandine Marrel|arXiv (Cornell University)|Dec 3, 2014

Probabilistic and Robust Engineering Design参考文献 1被引用 4

一句话总结

本文提出使用距离相关系数和希尔伯特-施мид特独立性准则（HSIC）作为高维、计算成本高昂的模拟器中全局敏感性分析与输入筛选的高效替代方法，替代经典Sobol'指数。该研究基于这些度量提出了渐近、谱系和非渐近的独立性检验方法，并引入了一种基于自举法的线性模型方法用于输入选择，结果表明依赖度量可在更少的模拟次数下实现更快、更准确的筛选效果，尤其在样本量较小或输入维度较高时表现更优。

ABSTRACT

Physical phenomena are commonly modeled by numerical simulators. Such codes can take as input a high number of uncertain parameters and it is important to identify their influences via a global sensitivity analysis (GSA). However, these codes can be time consuming which prevents a GSA based on the classical Sobol' indices, requiring too many simulations. This is especially true as the number of inputs is important. To address this limitation, we consider recent advances in dependence measures, focusing on the distance correlation and the Hilbert-Schmidt independence criterion (HSIC). Our objective is to study these indices and use them for a screening purpose. Numerical tests reveal some differences between dependence measures and classical Sobol' indices, and preliminary answers to "What sensitivity indices to what situation?" are derived. Then, two approaches are proposed to use the dependence measures for a screening purpose. The first one directly uses these indices with independence tests; asymptotic tests and their spectral extensions exist and are detailed. For a higher accuracy in presence of small samples, we propose a non-asymptotic version based on bootstrap sampling. The second approach is based on a linear model associating two simulations, which explains their output difference as a weighed sum of their input differences. From this, a bootstrap method is proposed for the selection of the influential inputs. We also propose a heuristic approach for the calibration of the HSIC Lasso method. Numerical experiments are performed and show the potential of these approaches for screening when many inputs are not influential.

研究动机与目标

• 通过提出基于依赖度量的更快替代方法，缓解经典Sobol'指数在高维敏感性分析中带来的计算负担。
• 开发基于依赖度量（距离相关系数、HSIC）的实用筛选方法，其模型评估次数少于基于方差的指标。
• 提出一种基于独立性检验与自举法系数检验的框架，用于选择关键输入。
• 研究在不同模型结构与样本量下，不同依赖度量（HSIC、距离相关系数）与经典Sobol'指数的适用性。
• 为HSIC Lasso方法提供启发式调参策略，以提升筛选场景下的特征选择性能。

提出的方法

• 利用HSIC与距离相关系数的零分布渐近与谱逼近方法，实现独立性检验。
• 提出一种非渐近的自举法检验，以提升小样本条件下的准确性。
• 构建一个线性模型，将输出差异表示为输入差异的加权和，从而实现基于自举法的系数显著性检验。
• 提出一种带ℓ¹惩罚的HSIC Lasso方法用于特征选择，通过LARS算法求解且系数为非负。
• 利用带标准差加权的交叉验证方法校准HSIC Lasso中的惩罚参数，以优化模型选择。
• 通过已知输入输出关系的解析测试函数的数值实验，对比不同方法的性能。

实验结果

研究问题

• RQ1 在非线性或高维设置下，距离相关系数与HSIC相较于经典Sobol'指数在检测输入影响方面表现如何？
• RQ2 在小到中等样本量下，哪种独立性检验（渐近、谱系、自举）在计算成本与准确性之间提供了最佳权衡？
• RQ3 基于输入输出差异的线性模型是否能提升筛选性能，相比直接评估依赖度量？
• RQ4 HSIC Lasso方法在选择关键输入方面表现如何？其惩罚参数的有效调参策略是什么？
• RQ5 在何种场景下，依赖度量能提供与Sobol'指数互补或更敏感的洞察，特别是关于交互效应方面？

主要发现

• 基于距离相关系数与HSIC的独立性检验在计算效率方面显著优于经典Sobol'指数，所需模型评估次数大幅减少。
• 在小样本条件下，自举法检验的准确性高于渐近或谱逼近方法；而在大样本条件下，渐近方法更具效率。
• 谱逼近方法在计算成本与准确性之间提供了良好平衡，尤其适用于中等样本量。
• 第一种方法——直接使用依赖度量结合独立性检验——在性能上略优于基于输入差异线性建模的第二种方法。
• HSIC对单调效应的检测比非单调效应更可靠，而距离相关系数则表现出相反的行为特征，表明其具有不同的敏感性特征。
• 依赖度量对交互效应的敏感性高于Sobol'指数，导致在某些测试案例中得出不同结论，提示其与基于密度的指标（如Borgonovo指数）具有互补的可解释性。