[论文解读] Techniques for visualizing LSTMs applied to electrocardiograms

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|May 23, 2017

Time Series Analysis and Forecasting参考文献 41被引用 14

一句话总结

本文评估了四种用于解释单导联心电图（ECG）上长短期记忆网络（LSTM）的可视化技术，发现学习输入删除掩码最能有效识别显著特征。该方法在最大程度降低类别得分的同时，与医学理论一致，为LSTM在心电图分类中的决策提供了最可解释且可靠的解释。

ABSTRACT

This paper explores four different visualization techniques for long short-term memory (LSTM) networks applied to continuous-valued time series. On the datasets analysed, we find that the best visualization technique is to learn an input deletion mask that optimally reduces the true class score. With a specific focus on single-lead electrocardiograms from the MIT-BIH arrhythmia dataset, we show that salient input features for the LSTM classifier align well with medical theory.

研究动机与目标

• 为了提高LSTM在医疗时间序列中的可解释性，特别是针对心电图分类。
• 评估并比较四种可视化技术，以识别连续值时间序列中的显著输入特征。
• 确定哪种技术最能揭示与临床知识一致的有意义模式。
• 评估基于扰动的方法在不修改网络架构的情况下解释LSTM决策的有效性。
• 建立一种可靠且定量的指标，用于比较心电图数据上不同显著性技术的表现。

提出的方法

• 本研究评估了四种可视化技术：时间输出得分、类别模式可视化、输入遮蔽和学习的输入删除掩码。
• 对于输入遮蔽，应用大小为w的滑动窗口来遮蔽输入片段，并测量类别得分s_c的下降量。
• 通过基于梯度的优化，学习输入删除掩码，以识别移除后最显著降低真实类别得分的最小输入区域。
• 使用归一化得分降低度量，按比例(T - M^(n))/T进行惩罚，以减少对较大遮蔽区域的偏好。
• 该方法仅使用模型输入和输出，无需架构修改，并应用于单导联心电图的MIT-BIH心律失常数据集。
• 通过视觉分析调整超参数，w=25用于MIT-BIH，w=5用于MNIST，α ∈ [0,1] 用于设置遮蔽阈值。

实验结果

研究问题

• RQ1 在应用于连续值时间序列（如心电图）的LSTM中，哪种可视化技术最能有效识别显著输入特征？
• RQ2 每种技术识别出的显著特征与心脏心律失常的公认医学知识有多吻合？
• RQ3 基于扰动的方法（如输入删除掩码学习）是否在可解释性和得分降低方面优于基于梯度或遮蔽的方法？
• RQ4 可视化技术的性能是否因不同的遮蔽阈值或输入窗口大小而有显著差异？
• RQ5 对于每个类别，识别出的显著区域在完整测试数据集上是否保持一致？

主要发现

• 学习的输入删除掩码技术在真实类别得分s_c上实现了最高的平均降低，优于遮蔽、类别模式可视化和时间输出得分。
• 在α = 0.9时，学习掩码仍导致s_c显著下降，表明其成功识别出分类最关键的特征。
• 学习掩码识别出的显著输入区域与医学上公认的ECG特征（如QRS波群和ST段）高度一致。
• 输入遮蔽和掩码技术在识别临床相关特征方面表现有效，而类别模式可视化则产生完全不可解释的结果。
• 学习掩码在不同删除阈值下表现稳健，表明其能一致地识别关键特征，无论α取值如何。
• 本研究发现，多变量生理信号使可视化更加复杂，降低了可解释性，因此多变量LSTM的解释仍是开放问题。