[论文解读] SliceNStitch: Continuous CP Decomposition of Sparse Tensor Streams

Taehyung Kwon, Inkyu Park+2 more|arXiv (Cornell University)|Feb 23, 2021

Tensor decomposition and applications参考文献 43被引用 4

一句话总结

SliceNStitch 提出了一种用于稀疏张量流的连续CP分解框架，可在新数据到达时立即更新因子矩阵，克服了传统张量模型在离散时间周期上的限制。其更新速度比在线竞争对手快达464倍，同时保持了与离线方法相当的拟合度，适用于异常检测和推荐系统等实时应用。

ABSTRACT

Consider traffic data (i.e., triplets in the form of source-destination-timestamp) that grow over time. Tensors (i.e., multi-dimensional arrays) with a time mode are widely used for modeling and analyzing such multi-aspect data streams. In such tensors, however, new entries are added only once per period, which is often an hour, a day, or even a year. This discreteness of tensors has limited their usage for real-time applications, where new data should be analyzed instantly as it arrives. How can we analyze time-evolving multi-aspect sparse data 'continuously' using tensors where time is'discrete'? We propose SLICENSTITCH for continuous CANDECOMP/PARAFAC (CP) decomposition, which has numerous time-critical applications, including anomaly detection, recommender systems, and stock market prediction. SLICENSTITCH changes the starting point of each period adaptively, based on the current time, and updates factor matrices (i.e., outputs of CP decomposition) instantly as new data arrives. We show, theoretically and experimentally, that SLICENSTITCH is (1) 'Any time': updating factor matrices immediately without having to wait until the current time period ends, (2) Fast: with constant-time updates up to 464x faster than online methods, and (3) Accurate: with fitness comparable (specifically, 72 ~ 100%) to offline methods.

研究动机与目标

• 为解决传统张量模型仅在每个时间周期结束时更新一次的局限性，该局限性阻碍了流数据的实时分析。
• 实现在时间演化稀疏张量上持续、低延迟的CP分解，且不增加模型参数数量。
• 开发在线算法，使因子矩阵在每个新数据条目到达时立即更新，而非等待周期边界。
• 在大幅降低更新延迟的同时，保持与离线CPD相当的高近似拟合度。
• 为时间敏感的应用（如异常检测和股票预测）提供可扩展、高效的解决方案。

提出的方法

• 提出一种连续张量模型，其中每个时间周期的起始时间动态适应当前时间，实现新数据的即时整合。
• 引入事件驱动的在线CPD算法，响应每个独立条目变更来更新因子矩阵，而非按周期进行。
• 采用滑动窗口机制并动态对齐当前时间，避免等待固定周期边界的需要。
• 使用稀疏张量表示和高效的更新规则，确保每次更新的时间复杂度保持恒定，即使在大规模数据下亦如此。
• 采用新颖的参数化策略，在实现细粒度时间分辨率的同时，保持参数数量较低。
• 实施动态窗口机制，在流式环境中实现高拟合度与低计算开销的平衡。

实验结果

研究问题

• RQ1 是否可以在不等待固定时间周期的情况下，对稀疏张量流实现连续的CP分解？
• RQ2 在线CPD算法能否在保持与离线方法相当的近似质量的同时，实现接近即时的更新？
• RQ3 所提出的连续张量模型是否能缓解超细粒度离散模型中常见的拟合度下降和参数爆炸问题？
• RQ4 在连续CPD中，更新速度与近似拟合度之间的权衡关系如何？
• RQ5 所提出的方法是否能在多种真实世界的稀疏张量流中实现高效扩展？

主要发现

• SliceNStitch 相较于现有在线CPD方法，更新时间最快可提升464倍，且每次更新的时间复杂度保持恒定。
• 该方法在真实世界数据集上保持了高拟合度，尽管是实时更新，其拟合度仍达到离线CPD的72%至100%。
• 通过动态自适应时间窗口起始点，SliceNStitch 避免了超细粒度离散模型中常见的拟合度下降和参数爆炸问题。
• 该框架实现了真正的实时分析，在纽约出租车数据集中可在数据发生后0.0015秒内检测到异常，比基线方法快逾1000倍。
• 实验表明速度与拟合度之间存在明确的权衡关系，使实践者可根据应用需求调节超参数。
• 所提出的连续张量模型与在线算法是首个支持对稀疏张量流中单个数据条目即时响应因子矩阵更新的方法。