[论文解读] Statistical inference using machine learning and classical techniques based on accumulated local effects (ALE)

Chitu Okoli|arXiv (Cornell University)|Oct 15, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文引入了自展法置信区间以及新颖的ALE效应量度量（ALED、ALER、NALED、NALER），以实现对机器学习中累积局部效应（ALE）的可靠统计推断，尤其适用于小样本数据集。通过将全局效应汇总与揭示非线性、异质性关系的置信区域相结合，该方法在不过度简化的前提下增强了可解释性。

ABSTRACT

Accumulated Local Effects (ALE) is a model-agnostic approach for global explanations of the results of black-box machine learning (ML) algorithms. There are at least three challenges with conducting statistical inference based on ALE: ensuring the reliability of ALE analyses, especially in the context of small datasets; intuitively characterizing a variable's overall effect in ML; and making robust inferences from ML data analysis. In response, we introduce innovative tools and techniques for statistical inference using ALE, establishing bootstrapped confidence intervals tailored to dataset size and introducing ALE effect size measures that intuitively indicate effects on both the outcome variable scale and a normalized scale. Furthermore, we demonstrate how to use these tools to draw reliable statistical inferences, reflecting the flexible patterns ALE adeptly highlights, with implementations available in the 'ale' package in R. This work propels the discourse on ALE and its applicability in ML and statistical analysis forward, offering practical solutions to prevailing challenges in the field.

研究动机与目标

• 解决基于ALE的模型解释中缺乏可靠统计推断的问题，特别是在过拟合风险较高的小样本数据集中。
• 开发直观、模型无关的效应量度量，用于量化变量在结果尺度及归一化尺度上的影响，便于跨数据集比较。
• 通过将全局效应汇总与置信区域结合，实现对效应显著性或异质性的细致统计推断。
• 提供计算高效的工具，直接基于现有的ALE计算构建，确保在实际分析中的实用性。
• 通过将经典推断技术与现代模型无关可解释性方法相结合，弥合机器学习中可解释性与统计严谨性之间的差距。

提出的方法

• 实施与数据集大小感知的自展法，生成ALE的置信区间，从而在小样本设置下提升可靠性。
• 定义ALE偏差（ALED）与ALE范围（ALER）作为全局效应量度量，反映变量在结果尺度上的影响幅度。
• 引入归一化版本（NALED、NALER），以实现不同数据集和结果尺度间效应量的比较。
• 通过自展ALE曲线构建ALE置信区域，并识别预测变量域中具有统计显著性的区间。
• 使用 'ale' R 包实现并验证所有方法，确保可复现性，并可无缝集成至标准机器学习工作流中。
• 将全局效应度量与置信区域结合，以检测可能被单一数值汇总所忽略的异质性效应，如尖峰或非线性模式。

Figure 1 : Simple ALE plots for random forest model of diamond prices

实验结果

研究问题

• RQ1 如何将自展法置信区间适配于ALE，以提升小样本数据集中的统计推断可靠性？
• RQ2 哪些有效、可解释且模型无关的ALE效应量度量能够反映变量影响的大小与方向？
• RQ3 如何利用从ALE导出的置信区域检测并解释被全局汇总所掩盖的非线性、异质性关系？
• RQ4 所提出的效应量度量（ALED、ALER、NALED、NALER）在多大程度上提升了可解释性与跨不同数据集和模型的可比性？
• RQ5 将ALE置信区域与全局效应度量结合，是否能通过识别具有显著影响的关键预测变量范围，增强决策支持能力？

主要发现

• ALE的自展法置信区间计算效率高，且与数据集大小自适应，显著提升了小样本设置下的可靠性。
• ALE偏差（ALED）与ALE范围（ALER）度量为变量在结果尺度上的影响提供了直观、可解释的汇总，其归一化版本（NALED、NALER）可实现跨数据集比较。
• ALE置信区域能有效突出预测变量在特定输入范围内具有统计显著性的影响，揭示了全局汇总无法捕捉的非线性与异质性模式。
• 通过置信区域可澄清高ALE范围与中等ALE偏差之间的差异，表明极端影响可能源于特定数据子区间而非异常值。
• 一旦ALE值计算完成，所提出的度量在计算上可忽略不计，使其适用于模型解释流程中的常规使用。
• 将全局效应度量与置信区域结合，可实现更稳健、更细致的推断，支持快速变量优先排序与针对性干预规划。

Figure 2 : Zoom-in of ALE plot for x_length for diamond prices