[论文解读] SPARTan: Scalable PARAFAC2 for Large & Sparse Data

Ioakeim Perros, Evangelos E. Papalexakis+5 more|arXiv (Cornell University)|Mar 13, 2017

Tensor decomposition and applications参考文献 20被引用 16

一句话总结

SPARTan 是一种可扩展、内存高效的算法，用于大规模稀疏张量的 PARAFAC2 分解，通过在中间计算中利用结构优化，相较于先前方法实现高达 22 倍的加速。它使不规则、时间错配的数据（如纵向电子健康记录）的实用分析成为可能，可生成具有临床意义的表型及时间演变模式。

ABSTRACT

In exploratory tensor mining, a common problem is how to analyze a set of variables across a set of subjects whose observations do not align naturally. For example, when modeling medical features across a set of patients, the number and duration of treatments may vary widely in time, meaning there is no meaningful way to align their clinical records across time points for analysis purposes. To handle such data, the state-of-the-art tensor model is the so-called PARAFAC2, which yields interpretable and robust output and can naturally handle sparse data. However, its main limitation up to now has been the lack of efficient algorithms that can handle large-scale datasets. In this work, we fill this gap by developing a scalable method to compute the PARAFAC2 decomposition of large and sparse datasets, called SPARTan. Our method exploits special structure within PARAFAC2, leading to a novel algorithmic reformulation that is both fast (in absolute time) and more memory-efficient than prior work. We evaluate SPARTan on both synthetic and real datasets, showing 22X performance gains over the best previous implementation and also handling larger problem instances for which the baseline fails. Furthermore, we are able to apply SPARTan to the mining of temporally-evolving phenotypes on data taken from real and medically complex pediatric patients. The clinical meaningfulness of the phenotypes identified in this process, as well as their temporal evolution over time for several patients, have been endorsed by clinical experts.

研究动机与目标

• 解决大规模稀疏 PARAFAC2 分解缺乏高效算法的问题。
• 实现对电子健康记录（EHR）中常见的不规则、时间错配张量数据的可扩展分析。
• 克服先前 PARAFAC2 实现中因性能和内存限制而阻碍其采用的问题。
• 开发一种在扩展至真实世界数据规模的同时，仍保持 PARAFAC2 唯一性和可解释性的方法。
• 通过使用真实 EHR 数据对医疗复杂性儿科患者进行表型分析，证明其临床实用性。

提出的方法

• 通过利用中间张量运算中的潜在结构，重新表述 PARAFAC2 的核心计算内核。
• 提出一种新颖的算法公式，避免将中间计算视为黑箱。
• 通过在分解过程中利用稀疏性和矩阵结构，优化内存使用和计算时间。
• 采用迭代优化方法，对因子矩阵 Uk、Sk 和 V 进行高效更新，特别适用于稀疏且对齐不规则的数据。
• 采用分块迭代方案，在尊重 PARAFAC2 中模式-1 可变性的同时保持计算效率。
• 实现内存感知的数据布局和计算流水线，以减少开销并提高缓存效率。

实验结果

研究问题

• RQ1 PARAFAC2 能否被高效扩展至大规模、稀疏且对齐不规则的张量数据集？
• RQ2 哪些算法改革可在不牺牲准确性的情况下，显著提升 PARAFAC2 的加速效果并减少内存占用？
• RQ3 SPARTan 能否处理包含数百万个非零条目和数千名患者的现实世界 EHR 数据？
• RQ4 SPARTan 在 EHR 数据中发现的表型是否反映了具有临床意义且随时间演变的模式？
• RQ5 在大规模稀疏计算下，PARAFAC2 的可解释性和唯一性是否得以保持？

主要发现

• 在合成和真实数据集上，SPARTan 相较于最佳先前实现，最高实现 22 倍加速。
• SPARTan 可成功处理导致基线实现因内存不足而崩溃的数据集。
• 在 1TB 内存服务器上，SPARTan 在两小时内完成包含 5 亿个非零条目的数据集，而基线实现则因内存耗尽而失败。
• 该方法在 8,044 名医疗复杂性儿科患者队列中识别出具有临床意义的表型，并经专家验证了时间趋势。
• 从 SPARTan 提取的时间签名揭示了复杂且个体化的表型演变模式，经临床专家确认。
• SPARTan 实现了对纵向 EHR 数据的可扩展、可解释且稳健的表型分析，展示了在医疗分析中的实际应用价值。