[论文解读] Temporal Dependencies in Feature Importance for Time Series Predictions

Kin Kwan Leung, Clayton Rooke+3 more|arXiv (Cornell University)|Jul 29, 2021

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

该论文提出WinIT，一种基于特征移除的多变量时间序列可解释性方法，通过在未来的预测窗口上聚合特征重要性来考虑时间依赖性。WinIT在合成数据集和真实世界数据集上均优于现有方法，展现出在各种评估策略下更高的稳定性和鲁棒性，尤其在捕捉延迟特征影响方面表现优异。

ABSTRACT

Time series data introduces two key challenges for explainability methods: firstly, observations of the same feature over subsequent time steps are not independent, and secondly, the same feature can have varying importance to model predictions over time. In this paper, we propose Windowed Feature Importance in Time (WinIT), a feature removal based explainability approach to address these issues. Unlike existing feature removal explanation methods, WinIT explicitly accounts for the temporal dependence between different observations of the same feature in the construction of its importance score. Furthermore, WinIT captures the varying importance of a feature over time, by summarizing its importance over a window of past time steps. We conduct an extensive empirical study on synthetic and real-world data, compare against a wide range of leading explainability methods, and explore the impact of various evaluation strategies. Our results show that WinIT achieves significant gains over existing methods, with more consistent performance across different evaluation metrics. The code for our work is publicly available at \url{https://github.com/layer6ai-labs/WinIT}.

研究动机与目标

• 为解决时间序列可解释性中特征重要性的时间依赖性挑战，其中不同时间步的特征相互依赖，其重要性随时间变化。
• 开发一种基于特征移除的方法，通过在未来的预测窗口上聚合影响来捕捉特征的动态、时变重要性。
• 通过研究并提出互补的掩码策略，提升时间序列可解释性评估的鲁棒性，以考虑特征移除中的时间相关性。
• 在具有受控延迟依赖性的合成数据和真实世界时间序列上评估WinIT，证明其在最先进方法中的优越性能。
• 提供一个可复现的时间序列可解释性框架，包含公开可用的代码和标准化的评估协议。

提出的方法

• WinIT将特征重要性计算为移除某一特征后模型预测变化的差异，但考虑其在后续时间步窗口内的影响，以反映时间依赖性。
• 它将时间t处某一特征观测的重要性定义为在窗口[t, t+N]内对预测影响的聚合效应，使用衡量多步预测变化的评分i(S)ₐᵇ。
• 该方法采用窗口化聚合策略，对时间上的重要性进行汇总，从而能够检测延迟效应，即特征变化在滞后后影响预测。
• 通过多种掩码策略（如标准、平衡和预测差异掩码）评估性能，以评估鲁棒性并避免评估偏差。
• 该方法与模型无关，适用于任何时间序列模型，仅依赖于输入-输出行为来计算特征重要性。
• 引入超参数N（窗口大小）以控制重要性聚合的时间范围，实证分析表明其在一系列取值下均表现稳定。

实验结果

研究问题

• RQ1 如何建模时间序列中的特征重要性，以考虑同一特征在不同观测时间点之间的时序依赖性？
• RQ2 基于特征移除的方法在多大程度上能捕捉特征对模型预测的延迟影响，即效应在时间滞后后才显现？
• RQ3 不同的掩码策略如何影响时间序列可解释性方法的评估？哪种策略在公平比较中最具鲁棒性？
• RQ4 WinIT是否在多种评估指标和真实世界时间序列数据集上始终优于现有显著性方法？
• RQ5 窗口大小超参数能否被有效调优，以在延迟效应敏感性和计算成本之间取得平衡？

主要发现

• 在MIMIC-III死亡率预测任务中，WinIT使用最重要的前5%观测值时，AUC下降7.8%，在STD掩码下优于所有基线方法。
• 在延迟脉冲合成数据集中，当窗口大小N=3时，WinIT性能显著提升，准确捕捉到两步延迟的特征影响。
• 在合成数据和真实世界实验中，窗口大小超过N=3后性能趋于稳定，表明对超参数选择具有鲁棒性。
• WinIT-PD（预测差异）在AUC下降指标上优于WinIT-KL和WinIT-JS，在K=50时达到7.6%的下降，凸显重要性聚合函数选择的重要性。
• 该方法在不同掩码策略下表现一致，结果方差极小，表明对评估协议变化具有鲁棒性。
• 窗口大小N与运行时间呈线性关系，支持在广泛取值范围内高效进行超参数搜索。