[论文解读] Self-Attention Enhanced Patient Journey Understanding in Healthcare System

Xueping Peng, Guodong Long+3 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning in Healthcare参考文献 34被引用 5

一句话总结

本文提出 MusaNet，一种多层级自注意力网络，利用掩码自注意力（mSA）建模多层级电子健康记录（EHR）数据（患者、就诊、医疗编码层级）中的时间与上下文关系。该方法在再入院和诊断预测任务中达到最先进性能，在真实世界数据集上相较最先进基线模型准确率最高提升 2.83%。

ABSTRACT

Understanding patients' journeys in healthcare system is a fundamental prepositive task for a broad range of AI-based healthcare applications. This task aims to learn an informative representation that can comprehensively encode hidden dependencies among medical events and its inner entities, and then the use of encoding outputs can greatly benefit the downstream application-driven tasks. A patient journey is a sequence of electronic health records (EHRs) over time that is organized at multiple levels: patient, visits and medical codes. The key challenge of patient journey understanding is to design an effective encoding mechanism which can properly tackle the aforementioned multi-level structured patient journey data with temporal sequential visits and a set of medical codes. This paper proposes a novel self-attention mechanism that can simultaneously capture the contextual and temporal relationships hidden in patient journeys. A multi-level self-attention network (MusaNet) is specifically designed to learn the representations of patient journeys that is used to be a long sequence of activities. The MusaNet is trained in end-to-end manner using the training data derived from EHRs. We evaluated the efficacy of our method on two medical application tasks with real-world benchmark datasets. The results have demonstrated the proposed MusaNet produces higher-quality representations than state-of-the-art baseline methods. The source code is available in https://github.com/xueping/MusaNet.

研究动机与目标

• 解决在存在长程依赖与不规则就诊间隔的情况下，对多层级、时序结构化的 EHR 数据进行建模的挑战。
• 克服 RNN 和 CNN 在捕捉患者就诊路径中长期时间依赖与上下文关系方面的局限性。
• 开发一种端到端的基于注意力的模型，以保留时间信息并实现可解释的表征学习。
• 通过更丰富、上下文感知的患者嵌入，提升下游临床预测任务（如再入院和诊断预测）的性能。
• 提出一种新颖的掩码自注意力机制，显式建模就诊之间的时间间隔，同时捕捉上下文依赖关系。

提出的方法

• 提出一种掩码自注意力（mSA）机制，用于捕捉患者就诊路径中各次就诊之间的上下文与时间关系。
• 设计一种多层级自注意力网络（MusaNet），采用分层注意力池化机制，将医疗编码聚合为就诊记录，再将就诊记录聚合为患者层级表征。
• 引入间隔编码，显式建模连续就诊之间的时间间隔，增强时间建模能力。
• 使用自注意力层计算跨就诊的动态注意力权重，有效捕捉长程依赖关系。
• 采用可学习的医疗编码与就诊嵌入，并结合位置编码以保留序列顺序。
• 使用监督损失函数对整个网络进行端到端训练，以支持下游预测任务。

实验结果

研究问题

• RQ1 基于自注意力的模型能否有效捕捉多层级 EHR 数据中的长程时间与上下文依赖？
• RQ2 在存在不规则就诊间隔的情况下，所提出的掩码自注意力机制相较于 RNN 和 CNN 在建模患者就诊序列方面表现如何？
• RQ3 与最先进方法相比，MusaNet 在再入院和诊断预测等临床任务中的预测性能提升程度如何？
• RQ4 MusaNet 中的注意力权重能否提供关于哪些就诊或诊断对预测未来健康结果最具预测性的可解释洞察？
• RQ5 间隔编码的引入是否显著增强了模型对 EHR 序列中时间动态的建模能力？

主要发现

• 在 Dx 数据集上，MusaNet 相较最先进基线模型，再入院预测准确率提升 2.83%。
• 在 Dx&Tx 数据集上，MusaNet 相较最佳性能基线，再入院预测准确率提升 1.07%。
• 在 Dx 数据集上，MusaNet 将诊断预测的 precision@5 提升 2.2%；在 Dx&Tx 数据集上，precision@30 提升 1.4%。
• 注意力可视化显示，特定就诊（如 ICD 编码 585.6 的首次就诊，代表终末期肾病）对预测未来再入院具有高度预测性。
• 模型识别出长期使用胰岛素（ICD V58.6.7）和高胆固醇血症（ICD 272.0）等关键诊断，是单个病例中再入院风险的主要贡献因素。
• 通过注意力热力图验证了 MusaNet 的可解释性，表明模型能够以高可解释性突出显示临床上相关的就诊与诊断。