[论文解读] Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers

Dongjin Lee, Kijung Shin|arXiv (Cornell University)|Feb 16, 2021

Tensor decomposition and applications参考文献 44被引用 10

一句话总结

SOFIA 是一种在线、鲁棒的张量分解方法，适用于具有缺失值和异常值的实时流数据。它在时间复杂度为线性的前提下，整合了张量分解、异常值检测和季节性模式识别，相较于最先进方法，实现高达 76% 的插补误差降低和 71% 的预测误差降低，同时速度提升最高达 935 倍，并且与数据量呈线性可扩展性。

ABSTRACT

Consider multiple seasonal time series being collected in real-time, in the form of a tensor stream. Real-world tensor streams often include missing entries (e.g., due to network disconnection) and at the same time unexpected outliers (e.g., due to system errors). Given such a real-world tensor stream, how can we estimate missing entries and predict future evolution accurately in real-time? In this work, we answer this question by introducing SOFIA, a robust factorization method for real-world tensor streams. In a nutshell, SOFIA smoothly and tightly integrates tensor factorization, outlier removal, and temporal-pattern detection, which naturally reinforce each other. Moreover, SOFIA integrates them in linear time, in an online manner, despite the presence of missing entries. We experimentally show that SOFIA is (a) robust and accurate: yielding up to 76% lower imputation error and 71% lower forecasting error; (b) fast: up to 935X faster than the second-most accurate competitor; and (c) scalable: scaling linearly with the number of new entries per time step.

研究动机与目标

• 解决在包含缺失数据和异常值的真实世界张量流中，准确插补缺失值并预测未来条目的挑战。
• 开发一种在线、可扩展的算法，能够增量式处理流式张量数据，而无需重新批量处理。
• 以一种能够提升各组件性能的方式，整合张量分解、异常值检测和时间模式识别。
• 在保持高精度和低计算成本的同时，确保对异常值和缺失值的鲁棒性，适用于实时应用。
• 实现与每时间步新增条目数量的线性可扩展性，从而支持在大规模流式系统中的部署。

提出的方法

• SOFIA 扩展了 CP 分解，通过改进的低秩分解框架，对流式张量中的季节性和渐变时间模式进行建模。
• 它采用在线优化策略，随着新张量条目的到达，增量式更新因子矩阵，确保每时间步的时间复杂度为线性。
• 通过使用鲁棒损失函数（如 Huber 或 L1）将异常值的影响降低，将异常值检测嵌入分解过程中。
• 利用受 Holt-Winters 启发的预测组件，显式建模时间模式（如季节性和趋势），并利用学习到的潜在成分。
• 在统一的、端到端可微的框架中，联合优化低秩结构、异常值抑制和模式检测。
• 初始化和参数更新以流式方式执行，避免重新计算，支持实时部署。

实验结果

研究问题

• RQ1 单一在线算法是否能够以高精度和低延迟，同时处理流式张量数据中的缺失值、异常值和时间模式？
• RQ2 将张量分解、异常值检测和模式识别进行整合，与孤立方法相比，能否显著提升插补和预测性能？
• RQ3 在真实世界的流式场景中，SOFIA 在数据量和每时间步条目数量增加时，其可扩展性如何？
• RQ4 在存在缺失数据和异常值的真实条件下，SOFIA 与最先进批处理和在线张量分解方法相比，在精度和速度上表现如何？
• RQ5 当缺失条目比例随时间增加时，SOFIA 是否仍能保持高预测精度？

主要发现

• 在四个真实世界数据集上，SOFIA 相较于第二准确的竞争对手，插补误差最高降低 76%。
• 即使在高异常值和缺失数据条件下，SOFIA 的预测误差也比其最佳竞争对手降低高达 71%。
• SOFIA 相较于第二准确的方法，速度最高提升 935 倍，适用于实时应用。
• SOFIA 与每时间步新增条目数量呈线性可扩展性，每时间步处理时间恒定，与先前处理的子张量数量无关。
• SOFIA 在不同缺失数据率的数据集上均保持一致性能，而依赖完整数据的竞争对手在缺失数据下性能显著下降。
• 尽管速度较慢，SOFIA 在准确率上仍优于 SMF 和 CPHW，归因于其对异常值的鲁棒性以及处理缺失值的能力——这是上述方法所不具备的特性。