[论文解读] TSInsight: A local-global attribution framework for interpretability in time-series data

Shoaib Ahmed Siddiqui, Dominique Mercier+2 more|arXiv (Cornell University)|Apr 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用 4

一句话总结

TSInsight 提出了一种新颖的局部-全局归因框架，用于时间序列可解释性分析，通过将稀疏性正则化的自编码器与深度学习分类器相结合，联合优化预测保真度与显著特征的重建，从而在实现输入空间压缩的同时，提供实例特定和模型整体的解释，覆盖8个数据集，展现出卓越的可解释性。

ABSTRACT

With the rise in the employment of deep learning methods in safety-critical scenarios, interpretability is more essential than ever before. Although many different directions regarding interpretability have been explored for visual modalities, time-series data has been neglected with only a handful of methods tested due to their poor intelligibility. We approach the problem of interpretability in a novel way by proposing TSInsight where we attach an auto-encoder to the classifier with a sparsity-inducing norm on its output and fine-tune it based on the gradients from the classifier and a reconstruction penalty. TSInsight learns to preserve features that are important for prediction by the classifier and suppresses those that are irrelevant i.e. serves as a feature attribution method to boost interpretability. In contrast to most other attribution frameworks, TSInsight is capable of generating both instance-based and model-based explanations. We evaluated TSInsight along with 9 other commonly used attribution methods on 8 different time-series datasets to validate its efficacy. Evaluation results show that TSInsight naturally achieves output space contraction, therefore, is an effective tool for the interpretability of deep time-series models.

研究动机与目标

• 为解决时间序列数据中深度学习可解释性方法的缺乏，特别是在医疗保健和自动驾驶等安全关键领域中的问题。
• 开发一个统一框架，提供基于实例和基于模型的双重解释，克服现有归因方法仅关注单个预测的局限性。
• 通过在自编码器输出上施加稀疏性诱导范数，实现输入空间压缩，从而提升特征相关性与可理解性，增强可解释性。
• 在多样化的时间序列数据集上评估该方法，并与9种基线归因技术进行全面比较。
• 证明该方法具备开箱即用的特性，如通用适用性和对输入扰动的鲁棒性。

提出的方法

• 将深度学习分类器与变分自编码器（VAE）耦合，通过分类器梯度与重建损失对自编码器进行端到端联合微调。
• 在自编码器输出上应用稀疏性诱导范数（如L1范数），以促使模型仅重建与分类器预测相关的特征。
• 优化过程保留与预测具有因果关系或相关性的特征，抑制无关或噪声成分。
• 通过在单个输入或整个数据集上求解优化问题，实现双重解释模式：基于实例（每输入）和基于模型（数据集级）。
• 分析自编码器的雅可比矩阵谱，验证输入空间压缩，表明模型学习到压缩非信息性变化方向。
• 该框架兼容多种主干架构，包括CNN和LSTM，展现出架构通用性。

实验结果

研究问题

• RQ1 统一框架能否为时间序列深度学习模型生成实例特定和模型整体的双重解释？
• RQ2 在自编码器输出上引入稀疏性诱导范数是否能提升时间序列数据中的特征归因与可解释性？
• RQ3 TSInsight在多大程度上实现了输入空间压缩？这种压缩与模型可解释性的提升有何关联？
• RQ4 在多样化的时间序列数据集上，TSInsight与9种已建立的归因方法相比，在显著性估计与解释合理性方面表现如何？
• RQ5 TSInsight的开箱即用特性（如通用适用性与鲁棒性）在不同模型架构下表现如何？

主要发现

• TSInsight在全部8个时间序列数据集上均实现了最合理且具有竞争力的显著性估计，其解释质量优于9种基线方法。
• 该方法显著诱导了输入空间压缩，表现为自编码器平均雅可比矩阵奇异值的急剧衰减，表明非信息性方向被有效抑制。
• TSInsight展现出通用适用性，成功从CNN和LSTM架构中提取出显著特征，且显著性模式与架构行为一致（如LSTM中显著性峰值出现在最后一个时间步）。
• 抑制测试表明，当抑制最高显著性特征时，TSInsight有效降低了预测置信度，证实其对相关输入成分的敏感性。
• 通过在全数据集上优化，该框架自然生成基于模型的解释，从而实现对数据分布中特征重要性的全局洞察。
• 由于输入空间压缩，TSInsight在对抗鲁棒性方面实现了轻微提升，但增益在不同数据集上表现不一致，且未呈现统一强效果。