[论文解读] Technical Report: A Stratification Approach to Partial Dependence for Codependent Variables

Terence Parr, James Wilson|arXiv (Cornell University)|Jul 15, 2019

Explainable Artificial Intelligence (XAI)被引用 2

一句话总结

本文提出StratPD，一种模型无关的方法，用于估计部分依赖关系，通过使用基于决策树的分层方法对相似数据点进行分组（除目标变量外），克服了线性模型和PD/ICE图的局限性。该方法即使在变量存在共线性的情况下，也能提供准确、稳健且高维的偏依赖估计，在模拟实验和案例研究中优于最先进方法。

ABSTRACT

Model interpretability is important to machine learning practitioners, and a key component of interpretation is the characterization of partial dependence of the response variable on any subset of features used in the model. The two most common strategies for assessing partial dependence suffer from a number of critical weaknesses. In the first strategy, linear regression model coefficients describe how a unit change in an explanatory variable changes the response, while holding other variables constant. But, linear regression is inapplicable for high dimensional (p>n) data sets and is often insufficient to capture the relationship between explanatory variables and the response. In the second strategy, Partial Dependence (PD) plots and Individual Conditional Expectation (ICE) plots give biased results for the common situation of codependent variables and they rely on fitted models provided by the user. When the supplied model is a poor choice due to systematic bias or overfitting, PD/ICE plots provide little (if any) useful information. To address these issues, we introduce a new strategy, called StratPD, that does not depend on a user's fitted model, provides accurate results in the presence codependent variables, and is applicable to high dimensional settings. The strategy works by stratifying a data set into groups of observations that are similar, except in the variable of interest, through the use of a decision tree. Any fluctuations of the response variable within a group is likely due to the variable of interest. We apply StratPD to a collection of simulations and case studies to show that StratPD is a fast, reliable, and robust method for assessing partial dependence with clear advantages over state-of-the-art methods.

研究动机与目标

• 解决线性回归在高维（p > n）和非线性设置下进行部分依赖估计时的局限性。
• 克服传统部分依赖（PD）和个体条件期望（ICE）图在变量共线性时存在的偏差和模型依赖性问题。
• 开发一种不依赖用户提供的拟合模型的方法，确保对模型误设或过拟合具有鲁棒性。
• 通过基于决策树的数据驱动分层，实现在高维数据中可靠的部分依赖分析。
• 提供一种快速、可扩展且可解释的现有部分依赖技术替代方案，在准确性和鲁棒性方面具有明显优势。

提出的方法

• 使用决策树将数据集划分为同质组，其中每组包含在除目标变量外所有特征上相似的观测值。
• 在每个子群内，响应变量的变化主要归因于目标变量，从而最小化其他特征的混杂影响。
• 通过计算不同目标变量取值下各子群内响应变量的平均值来估计部分依赖，从而有效隔离其边际效应。
• 使用决策树基于除目标变量外的所有特征递归划分特征空间，确保子群在内部同质，仅在研究变量上存在差异。
• 利用树结构确保子群的形成方式能够保留局部关系，并减少共线性变量带来的偏差。
• 该方法为模型无关方法，直接作用于数据，无需预先拟合的预测模型，因此对模型错误或过拟合具有鲁棒性。

实验结果

研究问题

• RQ1 在传统线性模型失效的高维数据中，模型无关方法能否提升部分依赖估计的性能？
• RQ2 当变量共线性时，StratPD相较于PD和ICE图的表现如何？
• RQ3 StratPD在不依赖用户指定模型的情况下，能在多大程度上减少部分依赖估计的偏差？
• RQ4 通过决策树进行分层是否能有效隔离在特征依赖存在时单个变量的边际效应？
• RQ5 StratPD在高维和复杂数据设置下的可扩展性和计算效率如何？

主要发现

• 即使在变量共线性的情况下，StratPD仍能提供准确的部分依赖估计，避免了PD和ICE图固有的偏差。
• 该方法对模型选择不佳具有鲁棒性，因其不依赖用户提供的拟合模型，即使在模型过拟合或误设时也保持可靠。
• StratPD适用于高维数据（p > n），克服了基于线性回归方法的关键局限性。
• 模拟实验和案例研究显示，StratPD速度快、可靠性高，并且在准确性和鲁棒性方面持续优于最先进方法。
• 分层过程有效减少了其他特征的混杂影响，从而在每个子群内隔离出目标变量的真实边际效应。
• 利用决策树进行分层确保了子群基于局部数据结构形成，增强了方法对复杂非线性关系的适应能力。