[论文解读] What went wrong and when? Instance-wise Feature Importance for Time-series Models

Sana Tonekaboni, Shalmali Joshi+3 more|arXiv (Cornell University)|Mar 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用 10

一句话总结

本文提出FIT（Feature Importance in Time），一种模型无关的框架，通过使用KL散度量化每个观测值对预测分布变化的贡献，实现多变量时间序列模型中实例级特征重要性的分配，即在反事实设定下其他特征被忽略时的分布变化。该方法在模拟和真实临床数据上均优于最先进基线方法，尤其在捕捉动态、时变的特征影响方面表现优异。

ABSTRACT

Explanations of time series models are useful for high stakes applications like healthcare but have received little attention in machine learning literature. We propose FIT, a framework that evaluates the importance of observations for a multivariate time-series black-box model by quantifying the shift in the predictive distribution over time. FIT defines the importance of an observation based on its contribution to the distributional shift under a KL-divergence that contrasts the predictive distribution against a counterfactual where the rest of the features are unobserved. We also demonstrate the need to control for time-dependent distribution shifts. We compare with state-of-the-art baselines on simulated and real-world clinical data and demonstrate that our approach is superior in identifying important time points and observations throughout the time series.

研究动机与目标

• 为高风险领域（如医疗保健）中的时间序列黑箱模型解决缺乏面向实例的特征重要性方法的问题。
• 显式建模时间动态，以捕捉特征贡献随时间演变的过程，而非将特征视为静态。
• 支持对特征子集的聚合重要性评估，这在临床环境中至关重要，因为多个共变特征共同影响预测结果。
• 开发一种模型无关的框架，可适用于任何黑箱时间序列模型，并支持实时解释。

提出的方法

• FIT将特征重要性定义为观测值对预测分布变化的贡献，通过全预测分布与反事实设定下该观测值被隔离时的分布之间的KL散度进行度量。
• 该框架使用生成模型学习时间序列数据的联合分布，从而准确近似特征子集的反事实分布。
• 重要性分数在每个时间步计算，通过比较基于特征子集条件预测分布与全分布，捕捉时间上的分布变化。
• 该方法通过评估一组特征在多大程度上解释了模型输出的分布变化，支持子集级别的重要性计算，而不仅限于单个特征。
• FIT是模型无关的，可应用于任何黑箱时间序列模型，包括深度学习和循环神经网络架构。
• 该方法通过建模预测分布随时间的演变，考虑了时间依赖的分布变化。

实验结果

研究问题

• RQ1 如何为时间序列模型分配实例级特征重要性，以反映动态、时变的特征贡献？
• RQ2 能否量化某一特征或特征子集对预测分布随时间变化的贡献？
• RQ3 考虑时间动态是否能提升时间序列模型中特征重要性的可靠性和可解释性？
• RQ4 模型无关框架是否能在识别关键时间点和特征子集方面优于基于梯度和注意力的方法？
• RQ5 FIT在真实世界临床数据和合成时间序列数据上与现有基线方法相比表现如何？

主要发现

• FIT在模拟和真实世界临床时间序列数据中，均优于最先进基线方法，能更准确地定位关键时间点和观测值。
• 该方法成功识别出共同驱动模型预测的关键特征子集，这在临床决策中至关重要，因为多个共变特征共同影响结果。
• 通过生成模型显式建模时间动态，FIT提供的反事实近似比基于扰动或梯度的方法更准确。
• FIT的重要性分数对域外扰动具有鲁棒性，避免了传统显著性图和扰动方法中常见的不稳定性。
• 该框架通过在每个时间步分配重要性分数，支持实时解释，适用于动态数据采集和监测等应用场景。
• 实证结果表明，FIT基于KL散度的度量能有效捕捉有意义的分布变化，从而提供更可靠、可解释的解释。