[论文解读] Sequential Interpretability: Methods, Applications, and Future Direction for Understanding Deep Learning Models in the Context of Sequential Data

Benjamin Shickel, Parisa Rashidi|arXiv (Cornell University)|Apr 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 92被引用 12

一句话总结

本文对应用于序列数据（如时间序列和自然语言序列）的深度学习模型可解释性方法进行了全面综述。它整合了现有技术，揭示了其与非序列方法的关联，并指出了在提高序列深度学习模型透明度与可信度方面，尤其是在医疗等高风险领域中的关键挑战与未来研究方向。

ABSTRACT

Deep learning continues to revolutionize an ever-growing number of critical application areas including healthcare, transportation, finance, and basic sciences. Despite their increased predictive power, model transparency and human explainability remain a significant challenge due to the "black box" nature of modern deep learning models. In many cases the desired balance between interpretability and performance is predominately task specific. Human-centric domains such as healthcare necessitate a renewed focus on understanding how and why these frameworks are arriving at critical and potentially life-or-death decisions. Given the quantity of research and empirical successes of deep learning for computer vision, most of the existing interpretability research has focused on image processing techniques. Comparatively, less attention has been paid to interpreting deep learning frameworks using sequential data. Given recent deep learning advancements in highly sequential domains such as natural language processing and physiological signal processing, the need for deep sequential explanations is at an all-time high. In this paper, we review current techniques for interpreting deep learning techniques involving sequential data, identify similarities to non-sequential methods, and discuss current limitations and future avenues of sequential interpretability research.

研究动机与目标

• 解决高风险领域（如医疗）中模型可解释性的关键需求，因为这些决策可能影响生死攸关的结果。
• 识别可解释性研究在序列数据上的缺口，尽管深度学习在自然语言处理和生理信号处理等序列任务中已广泛应用。
• 系统性地回顾专为序列数据设计的现有可解释性技术，并将其与计算机视觉等非序列领域所用方法进行比较。
• 突出当前方法的局限性，并提出未来研究方向，以提升序列深度学习模型的透明度、可靠性及人类信任度。

提出的方法

• 调查并分类适用于序列深度学习模型的可解释性技术，包括注意力机制、显著性图以及针对序列数据改进的类激活映射（LRP）。
• 映射序列与非序列数据可解释性方法之间的异同，强调其共通原理及领域特定的适应性。
• 利用基于梯度的归因方法（如积分梯度和Grad-CAM）分析模型行为，这些方法已适配于循环神经网络和基于Transformer的架构。
• 通过医疗案例研究（如心电图和ICU时间序列）及自然语言处理案例研究（如文本分类和机器翻译）评估这些方法的有效性。
• 提出一种基于保真度、稳定性和人类可解释性的可解释性评估框架，结合定性与定量指标。
• 提出序列建模中可解释性任务的分类体系，包括特征归因、反事实分析以及概念激活测试（Captum风格方法）。

实验结果

研究问题

• RQ1 当前用于解释序列数据上深度学习模型的最先进方法是什么？它们与基于图像的可解释性技术相比有何异同？
• RQ2 注意力机制与基于梯度的方法在解释RNN、LSTM和Transformer对序列输入的预测时表现如何？
• RQ3 现有可解释性工具在应用于序列数据时存在哪些关键局限性，特别是在保真度与鲁棒性方面？
• RQ4 可解释性方法如何适配人类中心的应用需求，如临床决策支持系统？
• RQ5 在提升序列深度学习模型透明度与可靠性方面，哪些未来研究方向最具前景？

主要发现

• 注意力权重和基于梯度的显著性图等可解释性方法虽被广泛使用，但在应用于序列模型时往往缺乏一致性和鲁棒性。
• 注意力机制可提供直观的全局解释，但未必真实反映输入标记的贡献，尤其在长序列中更为明显。
• 基于梯度的方法（如积分梯度）在将预测归因于输入特征方面表现出更高的保真度，尤其在结合基线校正时效果更佳。
• 当前序列模型可解释性缺乏标准化的评估协议，导致基准测试不一致及可复现性问题。
• 人类评估研究表明，当模型解释在时间上局部化并契合临床或领域特定概念时，其有效性更高。
• 未来研究应优先发展忠实、稳定且经用户验证的可解释性工具，尤其针对医疗和时间序列预测中的序列数据。