[论文解读] tSPM+; a high-performance algorithm for mining transitive sequential patterns from clinical data

Jonas Hügel, Ulrich Sax+2 more|arXiv (Cornell University)|Sep 8, 2023

Data Mining Algorithms and ApplicationsComputer Science被引用 3

一句话总结

tSPM+ 是一种高性能算法，通过在模式中引入持续时间，扩展了时间序列模式挖掘，与 tSPM 相比，最高可实现 980 倍的加速和 48 倍的内存使用减少。该算法能够高效发现临床数据中具有传递性、时长感知的序列模式，已在识别符合世卫组织定义症状的新冠后综合征患者方面得到验证。

ABSTRACT

The increasing availability of large clinical datasets collected from patients can enable new avenues for computational characterization of complex diseases using different analytic algorithms. One of the promising new methods for extracting knowledge from large clinical datasets involves temporal pattern mining integrated with machine learning workflows. However, mining these temporal patterns is a computational intensive task and has memory repercussions. Current algorithms, such as the temporal sequence pattern mining (tSPM) algorithm, are already providing promising outcomes, but still leave room for optimization. In this paper, we present the tSPM+ algorithm, a high-performance implementation of the tSPM algorithm, which adds a new dimension by adding the duration to the temporal patterns. We show that the tSPM+ algorithm provides a speed up to factor 980 and a up to 48 fold improvement in memory consumption. Moreover, we present a docker container with an R-package, We also provide vignettes for an easy integration into already existing machine learning workflows and use the mined temporal sequences to identify Post COVID-19 patients and their symptoms according to the WHO definition.

研究动机与目标

• 解决现有时间模式挖掘算法在大规模临床数据集中计算效率低下和内存占用过高的问题。
• 通过在序列模式中整合持续时间，扩展 tSPM 算法，以捕捉更具临床意义的时间关系。
• 提升可扩展性和性能，以适用于现实世界中的临床机器学习工作流。
• 实现对与复杂疾病表型（如新冠后综合征）相关联的传递性、基于时长的模式的实际发现。

提出的方法

• 通过在序列模式中增加持续时间约束，增强 tSPM 算法，使其能够挖掘具有传递性、时间区间感知的模式。
• 引入优化的数据结构和索引机制，以减少内存占用并加速模式枚举。
• 采用深度优先搜索策略并结合剪枝启发式方法，避免冗余计算，提升运行效率。
• 实现模块化软件栈，包含 R 包和 Docker 容器，便于无缝集成到现有机器学习工作流中。
• 使用前缀树（patricia trie）结构，高效紧凑地表示和遍历候选模式。
• 通过在临床数据集上的基准测试验证性能，对比执行时间和内存消耗与 tSPM 的表现。

实验结果

研究问题

• RQ1 将持续时间整合到序列模式中，是否能显著提升临床数据中时间模式挖掘的效率和可扩展性？
• RQ2 tSPM+ 在执行时间和内存使用方面，相较于原始的 tSPM 算法，性能提升程度如何？
• RQ3 时长感知的序列模式是否能有效识别出如新冠后综合征等临床相关表型？
• RQ4 tSPM+ 与现有临床数据分析机器学习工作流的集成能力如何？
• RQ5 具有持续时间的传递性模式挖掘对所发现模式的可解释性和临床相关性有何影响？

主要发现

• tSPM+ 在基准临床数据集上，与原始 tSPM 算法相比，最高实现 980 倍的加速。
• 内存占用最高减少 48 倍，显著提升了大规模临床数据的可扩展性。
• 在模式中引入持续时间，使得能够发现与世卫组织定义的新冠后综合征症状相关联的、具有临床意义的传递性序列。
• 该算法成功识别出与患者队列中长期病毒感染后状态相关的时序症状模式。
• 集成说明文档的 Docker 化 R 包可实现简便部署，并无缝集成到现有机器学习和临床数据分析工作流中。
• 性能提升在多种不同的临床数据工作负载中保持一致，展现出良好的鲁棒性和泛化能力。