[论文解读] Scientific Inference With Interpretable Machine Learning: Analyzing Models to Learn About Real-World Phenomena

Timo Freiesleben, Gunnar König+2 more|arXiv (Cornell University)|Jun 11, 2022

Explainable Artificial Intelligence (XAI)参考文献 112被引用 8

一句话总结

本文提出可解释机器学习（IML）属性描述符作为工具，通过将模型解释与现实世界现象关联，实现从机器学习模型中进行科学推断。结果表明，经过合理设计的IML方法能够访问条件概率分布 𝕭(Y∣X) 的特征，量化认识论不确定性，并区分模型审计与科学推断，以条件部分依赖图（cPDP）作为有效描述符的具体示例。

ABSTRACT

To learn about real world phenomena, scientists have traditionally used models with clearly interpretable elements. However, modern machine learning (ML) models, while powerful predictors, lack this direct elementwise interpretability (e.g. neural network weights). Interpretable machine learning (IML) offers a solution by analyzing models holistically to derive interpretations. Yet, current IML research is focused on auditing ML models rather than leveraging them for scientific inference. Our work bridges this gap, presenting a framework for designing IML methods-termed 'property descriptors' -- that illuminate not just the model, but also the phenomenon it represents. We demonstrate that property descriptors, grounded in statistical learning theory, can effectively reveal relevant properties of the joint probability distribution of the observational data. We identify existing IML methods suited for scientific inference and provide a guide for developing new descriptors with quantified epistemic uncertainty. Our framework empowers scientists to harness ML models for inference, and provides directions for future IML research to support scientific understanding.

研究动机与目标

• 解决机器学习中模型解释与现实世界科学推断之间的认识论鸿沟。
• 澄清模型审计（如模型调试）与科学推断（如理解现象属性）之间的区别。
• 构建一个设计IML方法的框架，以揭示真实世界数据条件概率分布 𝕭(Y∣X) 的内在特征。
• 量化IML解释中的认识论不确定性，以支持可靠的科学结论。
• 指导研究人员构建具有科学意义而非仅反映模型行为的IML描述符。

提出的方法

• 将'现象'定义为由随机变量描述的真实世界过程，其观测值来自未知的联合分布。
• 将监督式机器学习模型视为基于独立同分布（i.i.d.）数据训练的数学构造，以推广未观测到的现象结果的预测。
• 引入'IML属性描述符'作为专门设计用于访问 𝕭(Y∣X) 条件分布特征的IML方法，而不仅限于模型行为。
• 提出一个三步框架：(1) 提出基于现象的关于X和Y的问题，(2) 使用机器学习模型和有限数据回答该问题，(3) 量化解释中的认识论不确定性。
• 以条件部分依赖图（cPDP）作为有效IML属性描述符的具体示例，其可访问条件期望。
• 基于统计决策理论构建方法，确保解释具有统计意义，而非仅仅是模型的人工产物。

实验结果

研究问题

• RQ1 如何设计可解释机器学习方法，使其提供对现实世界现象的洞察，而不仅限于模型行为？
• RQ2 IML方法必须满足哪些标准，才能支持对潜在数据生成过程的科学推断？
• RQ3 如何量化IML解释中的认识论不确定性，以支持可靠的科学结论？
• RQ4 当前IML实践在哪些方面混淆了模型审计与科学推断，其认识论后果是什么？
• RQ5 在适当假设下，IML描述符如cPDP能否有效访问条件期望 𝕭(Y∣X)？

主要发现

• 机器学习模型不满足逐元素可表示性，因此单个参数无法直接解释为现象属性。
• 当设计得当时，IML属性描述符可访问 𝕭(Y∣X) 条件概率分布的相关特征，从而支持科学推断。
• 条件部分依赖图（cPDP）作为有效IML属性描述符，因其在满足后门准则时可识别因果效应。
• 通过统计决策理论可量化IML解释中的认识论不确定性，从而提升可解释性与可靠性。
• 当前IML方法常将模型审计与科学推断混淆，导致对现实世界现象的不当主张。
• 因果推断需要超越关联模型；通过不变风险最小化训练的干预稳定模型，结合适当假设，可使IML反映因果效应。