[论文解读] Multi-view Integration Learning for Irregularly-sampled Clinical Time Series

Yurim Lee, Eunji Jun+1 more|arXiv (Cornell University)|Jan 25, 2021

Machine Learning in Healthcare参考文献 22被引用 4

一句话总结

该论文提出了一种基于自注意力机制的多视图集成学习框架，用于处理未经插补的不规则采样临床时间序列。该方法引入了多融合注意力模块（MIAM），联合建模观测值、缺失指标和时间间隔，并在训练阶段使用基于注意力的解码器作为替代插补器，以增强表征学习，在MIMIC-III和PhysioNet 2012数据集上实现了住院死亡率预测的最先进性能。

ABSTRACT

Electronic health record (EHR) data is sparse and irregular as it is recorded at irregular time intervals, and different clinical variables are measured at each observation point. In this work, we propose a multi-view features integration learning from irregular multivariate time series data by self-attention mechanism in an imputation-free manner. Specifically, we devise a novel multi-integration attention module (MIAM) to extract complex information inherent in irregular time series data. In particular, we explicitly learn the relationships among the observed values, missing indicators, and time interval between the consecutive observations, simultaneously. The rationale behind our approach is the use of human knowledge such as what to measure and when to measure in different situations, which are indirectly represented in the data. In addition, we build an attention-based decoder as a missing value imputer that helps empower the representation learning of the inter-relations among multi-view observations for the prediction task, which operates at the training phase only. We validated the effectiveness of our method over the public MIMIC-III and PhysioNet challenge 2012 datasets by comparing with and outperforming the state-of-the-art methods for in-hospital mortality prediction.

研究动机与目标

• 解决从稀疏且时间错位的多变量临床时间序列数据中学习有效表征的挑战。
• 在统一的表征空间中联合建模具有信息量的缺失模式——具体为缺失指标和观测值间的时间间隔，以及临床测量值。
• 开发一种无需插补的深度学习框架，仅在训练阶段利用基于注意力的解码器增强表征学习，避免推理阶段的数据泄露和显式插补带来的噪声。
• 在真实世界电子健康记录（EHR）数据集（如MIMIC-III和PhysioNet 2012）上，超越现有最先进方法，在住院死亡率预测任务中表现更优。

提出的方法

• 提出多融合注意力模块（MIAM），显式建模观测值、缺失指标和连续观测间时间间隔之间的关系。
• 利用自注意力机制，通过同时关注所有时间点来学习不规则时间序列中的复杂长程依赖关系，实现并行处理和全局上下文建模。
• 构建基于注意力的解码器，作为训练阶段的代理插补器，生成重建值以强化多视图观测之间关系的表征学习。
• 采用多视图输入格式，整合原始观测值（X）、缺失指标（M）和时间间隔（Δ），在MIAM中联合处理以学习集成表征。
• 应用适配不规则时间间隔的位置编码，替代标准的正弦编码，以更好地反映临床数据中的时间动态。
• 使用交叉熵损失端到端训练模型进行死亡率预测，其中辅助插补器仅在训练阶段激活，以避免推理阶段的数据泄露。

实验结果

研究问题

• RQ1 联合建模观测值、缺失指标和时间间隔是否能提升不规则采样临床时间序列的表征学习？
• RQ2 基于注意力的训练阶段插补器是否能在推理阶段不进行显式插补的情况下提升预测性能？
• RQ3 与单视图或双视图建模相比，多视图（X、M、Δ）集成在预测准确率上表现如何？
• RQ4 所提出的无需插补的框架在多大程度上优于依赖显式插补或时间离散化的最先进方法？

主要发现

• 所提方法在MIMIC-III数据集上达到AUC 0.8534 ± 0.0071，在PhysioNet 2012数据集上达到AUC 0.8231 ± 0.0221，优于现有最先进方法在住院死亡率预测中的表现。
• 在MIAM中同时整合观测值（X）、缺失指标（M）和时间间隔（Δ）三个视图时性能最高，证实了多视图集成的价值。
• 消融实验表明，基于注意力的插补器相比无插补基线模型性能更优，MIMIC-III数据集上AUC从0.8373提升至0.8534，PhysioNet数据集上从0.8137提升至0.8231。
• 仅在训练阶段使用辅助插补器已足够实现与BRITS显式插补相当的性能，表明推理阶段无需显式插补。
• 在两个数据集上，三视图集成模型（X + M + Δ）均优于单视图（仅X）和双视图（X+M或X+Δ）配置。
• 结果表明，显式建模具有信息量的缺失模式可带来更优的表征学习和更优的预测性能，尤其在不规则EHR数据中。