[论文解读] Position Paper: Bridging the Gap Between Machine Learning and Sensitivity Analysis

Christian A. Scholbeck, Julia Moosbauer+4 more|arXiv (Cornell University)|Dec 20, 2023

Probabilistic and Robust Engineering Design被引用 6

一句话总结

本文提出，可解释机器学习（IML）本质上是一种敏感性分析（SA），将机器学习解释方法统一于正式的SA框架之下。通过将机器学习流程视为SA系统，该研究将模型无关方法（如部分依赖和Shapley值）与既有的SA技术联系起来，促进跨学科洞察，并减少重复性研究。

ABSTRACT

We argue that interpretations of machine learning (ML) models or the model-building process can be seen as a form of sensitivity analysis (SA), a general methodology used to explain complex systems in many fields such as environmental modeling, engineering, or economics. We address both researchers and practitioners, calling attention to the benefits of a unified SA-based view of explanations in ML and the necessity to fully credit related work. We bridge the gap between both fields by formally describing how (a) the ML process is a system suitable for SA, (b) how existing ML interpretation methods relate to this perspective, and (c) how other SA techniques could be applied to ML.

研究动机与目标

• 建立可解释机器学习（IML）与敏感性分析（SA）之间的正式联系，将IML定位为SA的一种专门应用。
• 解决现代IML研究中对基础SA工作的忽视与未被引用的问题，该问题已导致方法论的重复开发。
• 证明既有的SA技术——如基于方差的方法、FANOVA和Sobol指数——可直接应用于解释机器学习模型及超参数优化。
• 将SA框架扩展至包含模型特定的解释（如决策树分裂、显著性图）以及新兴领域如无监督学习的解释。
• 通过整合数十年的SA研究成果，倡导在IML社区实践中采用统一的术语与方法论。

提出的方法

• 将整个机器学习流程——包括数据、模型训练、超参数优化和推理——形式化为适合敏感性分析的系统。
• 将现有的模型无关IML方法（如部分依赖、SHAP、LIME）映射到相应的SA技术，揭示其概念与数学上的等价性。
• 应用基于方差的SA方法（如Sobol指数、FANOVA分解）来量化机器学习模型中的特征重要性与交互效应。
• 通过将模型结构或梯度导出的敏感性度量解释为模型特定解释（如显著性图、树分裂），将框架扩展至包含模型特定解释。
• 提出一个包含四个阶段的广义解释框架：采样、干预、预测与聚合——与标准SA工作流程一致。
• 强调超参数优化（HPO）可被视为模型性能对超参数的敏感性分析。

实验结果

研究问题

• RQ1 如何将机器学习过程正式建模为适合敏感性分析的系统？
• RQ2 现有的模型无关解释方法在多大程度上对应于已建立的敏感性分析技术？
• RQ3 将经典SA技术（如Sobol指数或FANOVA）应用于机器学习模型与超参数优化，能带来哪些见解与方法论优势？
• RQ4 为何机器学习社区在很大程度上忽视了基础SA工作？这对研究与开发造成了何种后果？
• RQ5 敏感性分析能否作为统一框架，用于解释不仅限于监督学习模型，还包括无监督学习与模型特定解释？

主要发现

• 机器学习流程——包括数据、模型训练与超参数优化——可被正式视为敏感性分析系统，从而实现系统化的解释。
• 核心IML方法如部分依赖与SHAP在数学上等价于既有的SA技术，如FANOVA分解与基于方差的敏感性指数。
• 历史SA方法如高维模型表示（HDMR）早在1940年代便已提出，其为现代ML解释技术奠定了基础，但其起源常未被致谢。
• 如Sobol指数与组重要性度量等技术，在环境与工程科学中长期使用，可直接应用于机器学习，提升模型的鲁棒性与可解释性。
• 通过将模型结构或梯度导出的敏感性度量解释为模型特定解释（如显著性图、树分裂），该框架可扩展至此类解释。
• 将SA整合进IML为新研究方向打开大门，包括将高级SA方法应用于超参数优化与无监督学习，已有L2PC与FACT等方法提供了初步证据。