[论文解读] Set Functions for Time Series

Max Horn, Michael Moor+3 more|arXiv (Cornell University)|Sep 26, 2019

Time Series Analysis and Forecasting参考文献 45被引用 23

一句话总结

本文提出 SeFT（时间序列的集合函数），一种新颖的方法，通过将每个观测视为集合元素，利用带有注意力机制的可微集合函数学习，对不规则采样且未对齐的时间序列进行分类。该方法在分类性能上表现优异，推理速度比最先进模型快达10倍，同时支持对每个观测的特征重要性解释，并具备高度可扩展性，适用于在线监控。

ABSTRACT

Despite the eminent successes of deep neural networks, many architectures are often hard to transfer to irregularly-sampled and asynchronous time series that commonly occur in real-world datasets, especially in healthcare applications. This paper proposes a novel approach for classifying irregularly-sampled time series with unaligned measurements, focusing on high scalability and data efficiency. Our method SeFT (Set Functions for Time Series) is based on recent advances in differentiable set function learning, extremely parallelizable with a beneficial memory footprint, thus scaling well to large datasets of long time series and online monitoring scenarios. Furthermore, our approach permits quantifying per-observation contributions to the classification outcome. We extensively compare our method with existing algorithms on multiple healthcare time series datasets and demonstrate that it performs competitively whilst significantly reducing runtime.

研究动机与目标

• 解决在医疗数据中常见的不规则采样和未对齐测量的时间序列分类挑战。
• 消除对插补或序列建模偏差的依赖，以避免性能下降或计算成本增加。
• 开发一种可扩展、可微且可解释的模型，适用于实时和大规模时间序列分类。
• 支持对每个观测的贡献分析，以提升临床决策场景中的模型可解释性。

提出的方法

• 将时间序列分类重新定义为基于集合的学习问题，将每个时间序列视为（时间戳，值，模态）三元组的集合。
• 采用基于注意力机制的可微集合函数学习，将观测聚合为全局表征。
• 使用位置嵌入保留时间上下文，而不强制顺序关系，避免 RNN 式的归纳偏差。
• 引入可学习的注意力机制，对所有观测计算注意力权重，实现特征重要性估计。
• 设计一种内存高效、高度并行化的架构，适用于在线监控和大规模数据集。
• 采用交叉熵损失进行端到端训练，联合优化分类任务与基于注意力的可解释性。

实验结果

研究问题

• RQ1 在不引入序列归纳偏差的前提下，基于集合的深度学习方法是否能在不规则采样时间序列上超越基于序列的模型？
• RQ2 避免插补是否能提升时间序列分类中的性能与可扩展性，特别是在医疗领域？
• RQ3 对集合的注意力机制是否能提供有意义的每个观测重要性评分以实现可解释性？
• RQ4 与最先进模型（如 Transformer、RNN 和 Latent-ODE）相比，SeFT 在准确率、速度和内存效率方面表现如何？
• RQ5 在缺乏序列处理的情况下，性能是否会下降？当结合位置编码时，是否仍足够有效？

主要发现

• 在 P-Mortality 数据集上，SeFT 达到 76.8% 的 AUC，优于大多数基线模型，包括 Transformer 和 Latent-ODE。
• 与 Transformer 相比，SeFT 将推理时间减少了近一个数量级，推理时间仅为 77.5ms，而最快基线为 28.5ms。
• 在 M3-Mortality 数据集上，SeFT 达到 70.9% 的 AUPRC，尽管测试数据存在潜在分布偏移，仍表现出具有竞争力的性能。
• 该模型提供了可解释的注意力权重，支持对每个观测的贡献分析，这对临床信任和决策支持至关重要。
• SeFT 展现出卓越的可扩展性与内存效率，适用于实时监控成千上万名患者的在线场景。
• 消融研究证实，若移除注意力机制，性能显著下降，验证了其在特征选择与表征学习中的关键作用。