[论文解读] Multi-Time Attention Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|PubMed|Jan 25, 2021

Machine Learning in Healthcare参考文献 35被引用 23

一句话总结

本文提出多时间注意力网络（mTANs），一种用于建模多变量、稀疏且采样不规则的时间序列的深度学习框架，通过学习连续时间嵌入并使用可学习的注意力机制计算时间相似性。该方法在插值和分类任务上达到或超越当前最先进性能，同时训练速度比基于常微分方程（ODE）的基线模型快逾100倍。

ABSTRACT

Irregular sampling occurs in many time series modeling applications where it presents a significant challenge to standard deep learning models. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. In this paper, we propose a new deep learning framework for this setting that we call <i>Multi-Time Attention Networks</i>. Multi-Time Attention Networks learn an embedding of continuous time values and use an attention mechanism to produce a fixed-length representation of a time series containing a variable number of observations. We investigate the performance of this framework on interpolation and classification tasks using multiple datasets. Our results show that the proposed approach performs as well or better than a range of baseline and recently proposed models while offering significantly faster training times than current state-of-the-art methods.

研究动机与目标

• 解决在医疗等场景中，由于观测缺失或错位，标准深度学习模型难以建模多变量、稀疏且采样不规则时间序列的挑战。
• 开发一种灵活的连续时间深度学习框架，以可学习的注意力机制替代固定相似性核函数，提升时间表征学习能力。
• 通过变分自编码器（VAE）框架实现端到端训练，支持在不规则时间序列上进行插值和分类任务。
• 在保持或提升性能的同时，与现有最先进基于ODE的模型相比，显著减少训练时间。
• 证明时序分布的潜在表征与可学习时间嵌入在捕捉局部时间序列结构方面的有效性。

提出的方法

• mTAN框架采用查询-键注意力机制，其中参考时间点作为查询，观测时间点作为键，以计算动态的时间注意力权重。
• 采用可学习的连续时间嵌入层表示时间值，替代固定的位置编码，实现数据驱动的时间表征。
• 模型采用编码器-解码器架构，并使用VAE目标函数：编码器将不规则时间序列映射到参考点上的固定长度潜在表征，解码器则重建原始序列。
• 注意力机制将固定核函数（如RBF）替换为可微分、数据驱动的相似性函数，该函数在训练过程中学习得到。
• 通过将时间视为连续变量并从数据中学习相似性，而非假设固定间隔，该框架支持跨变量的部分观测对齐。
• 使用随机梯度下降与变分推断进行训练，实现时间嵌入与注意力参数的端到端学习。

实验结果

研究问题

• RQ1 在不规则采样多变量时间序列建模中，与固定核函数相比，基于连续时间点的可学习注意力机制是否能提升性能？
• RQ2 从数据中学习时间嵌入与时间相似性是否能提升插值与分类任务的性能，优于固定编码方式？
• RQ3 mTAN框架是否能在显著减少训练时间的同时，实现最先进性能，相比基于ODE的模型？
• RQ4 时序分布的潜在表征在捕捉局部时间序列结构方面是否有效？
• RQ5 mTAN架构在PhysioNet、MIMIC-III和Human Activity等多样化数据集上是否具有良好的泛化能力？

主要发现

• mTAND-Full模型在PhysioNet数据集上AUC达到0.858 ± 0.004，优于所有RNN基线模型，并与基于ODE的模型相当或更优。
• 在MIMIC-III死亡率预测任务中，mTAND-Full模型AUC为0.8544 ± 0.0024，与最佳ODE基线模型（如L-ODE-ODE）相当，但训练速度显著更快。
• mTAND-Full模型每轮训练仅需0.2分钟，比L-ODE-ODE（每轮22.0分钟）快逾100倍，比ODE-RNN（每轮16.5分钟）快逾85倍。
• 消融实验表明，可学习时间嵌入相比固定位置编码，将分类准确率提升最高达1.5%。
• 采用可学习注意力核的模型优于固定RBF核，证明了数据驱动相似性学习的优势。
• 在Human Activity数据集上，mTAND-Full模型准确率达到0.910 ± 0.002，显著优于所有RNN与IP-Net基线模型。