[论文解读] Self-attention based BiLSTM-CNN classifier for the prediction of ischemic and non-ischemic cardiomyopathy

Kavita Dubey, Anant Agarwal+3 more|arXiv (Cornell University)|Jul 24, 2019

Cardiac electrophysiology and arrhythmias参考文献 23被引用 5

一句话总结

本文提出一种基于自注意力机制的双向LSTM-CNN模型，采用Inception-V3架构，从组织病理学图像中分类缺血性和非缺血性心肌病。通过将自注意力机制与双向LSTM及卷积特征相结合，该模型增强了特征表示能力，在基线模型之上实现了更高的分类准确率。

ABSTRACT

Heart Failure is a major component of healthcare expenditure and a leading cause of mortality worldwide. Despite higher inter-rater variability, endomyocardial biopsy (EMB) is still regarded as the standard technique, used to identify the cause (e.g. ischemic or non-ischemic cardiomyopathy, coronary artery disease, myocardial infarction etc.) of unexplained heart failure. In this paper, we focus on identifying cardiomyopathy as ischemic or non-ischemic. For this, we propose and implement a new unified architecture comprising CNN (inception-V3 model) and bidirectional LSTM (BiLSTM) with self-attention mechanism to predict the ischemic or non-ischemic to classify cardiomyopathy using histopathological images. The proposed model is based on self-attention that implicitly focuses on the information outputted from the hidden layers of BiLSTM. Through our results we demonstrate that this framework carries a high learning capacity and is able to improve the classification performance.

研究动机与目标

• 为解决使用心内膜心肌活检（EMB）诊断心肌病病因时存在的高评分者间差异性问题。
• 开发一种基于深度学习的自动化方法，利用组织病理学图像区分缺血性与非缺血性心肌病。
• 通过将自注意力机制与BiLSTM及CNN架构集成，提升特征表示能力，从而改善分类性能。

提出的方法

• 该模型采用Inception-V3作为CNN主干网络，用于从组织病理学图像中提取分层特征。
• 双向长短期记忆网络（BiLSTM）用于处理CNN提取的序列特征，以建模时间依赖性。
• 在BiLSTM输出上应用自注意力机制，以动态强调相关特征并抑制噪声。
• 注意力机制在隐藏状态上计算上下文感知权重，聚焦于序列中的判别性区域。
• 通过全连接层对自注意力机制生成的加权特征进行最终分类。
• 模型采用交叉熵损失进行端到端训练，并通过反向传播进行优化。

实验结果

研究问题

• RQ1 自注意力机制是否能提升BiLSTM-CNN模型在组织病理学图像中分类缺血性与非缺血性心肌病的性能？
• RQ2 将自注意力机制与BiLSTM及CNN组件结合，如何增强特征表示能力并提高分类准确率？
• RQ3 所提出的架构是否在区分心肌病亚型方面优于标准的BiLSTM-CNN模型及无注意力机制的模型？

主要发现

• 所提出的基于自注意力机制的BiLSTM-CNN模型在组织病理学图像数据上实现了高于基线模型的分类准确率。
• 自注意力机制有效突出了序列中具有判别性的区域，提升了模型的可解释性与性能。
• 由于注意力驱动的特征加权，该模型对组织病理学图像中的噪声和变异表现出强鲁棒性。
• Inception-V3与BiLSTM及自注意力机制的集成，有效学习了心脏组织图像中的分层与序列模式。
• 该框架在临床部署方面展现出巨大潜力，有助于减少对主观EMB解读的依赖。