[论文解读] Robust Factorization and Completion of Streaming Tensor Data via Variational Bayesian Inference

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|Sep 4, 2018

Tensor decomposition and applications参考文献 31被引用 6

一句话总结

该论文提出了一种变分贝叶斯流式张量分解模型，能够实时联合学习低秩结构与稀疏异常值，自动确定张量秩，并稳健处理噪声或损坏的数据。该方法在动态磁共振成像（MRI）、视频和网络流量重建中优于现有的基于最小二乘法的流式算法，能够有效捕捉小噪声和大异常值，同时通过自适应秩选择避免过拟合。

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. In many applications the full tensor is not known, but instead received in a slice-by-slice manner over time. Streaming factorizations aim to take advantage of inherent temporal relationships in data analytics. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents the first Bayesian robust streaming tensor factorization model. Our model successfully identifies sparse outliers, automatically determines the underlying tensor rank and accurately fits low-rank structure. We implement our model in Matlab and compare it to existing algorithms. Our algorithm is applied to factorize and complete various streaming tensors including synthetic data, dynamic MRI, video sequences, and Internet traffic data.

研究动机与目标

• 解决现有流式张量分解方法依赖最小二乘拟合并假设固定秩所带来的局限性，这些方法对异常值敏感且易过拟合。
• 开发一种概率模型，能够联合识别流式张量数据中的低秩成分与稀疏异常值。
• 在流式处理过程中实现张量秩的自动确定，避免对先验知识或人工调参的依赖。
• 通过建模噪声和严重损坏，提升真实世界应用中（如动态MRI、视频序列和网络流量监控）的张量补全精度。
• 将变分贝叶斯推断扩展至具有时变稀疏性和低秩结构的流式张量数据。

提出的方法

• 使用贝叶斯层次模型将流式张量建模为低秩分量与稀疏异常值分量之和。
• 在因子矩阵和稀疏分量上使用重尾先验分布（如拉普拉斯分布或学生t分布），以强制实现低秩与稀疏性结构。
• 应用变分贝叶斯推断以近似隐藏因子的后验分布，实现在新张量切片到达时的在线更新。
• 引入遗忘因子与滑动窗口机制，动态更新模型并减轻长期数据带来的计算负载。
• 使用变分下界（ELBO）优化超参数，并自动推断底层张量秩。
• 在MATLAB中实现该算法，并在合成数据、动态MRI、视频序列和互联网流量数据上进行验证。

实验结果

研究问题

• RQ1 贝叶斯流式张量分解模型能否在实时环境中同时识别低秩结构与稀疏异常值？
• RQ2 与固定秩模型相比，自动张量秩确定在流式设置中如何提升性能？
• RQ3 在存在异常值和缺失数据的情况下，所提方法在多大程度上优于基于最小二乘法的流式算法？
• RQ4 该模型能否有效重建高维流式张量（如3D心脏MRI或多模态网络流量）？
• RQ5 遗忘因子与滑动窗口机制在长期流式应用中如何影响模型的稳定性和准确性？

主要发现

• 所提算法在15%样本缺失的动态心脏MRI数据重建中显著优于OLSTEC与Online-SGD，尤其在同时捕捉小噪声与大异常值方面表现优异。
• 在3D多模态心脏MRI数据集上，该算法在50%数据缺失的情况下成功完成张量重建，而其他方法无法处理高阶张量。
• 在网络流量监控中，即使在50%数据缺失的情况下，该算法的相对预测误差仍低于OLSTEC与Online-SGD，归因于自适应秩选择与对异常值的鲁棒性。
• 该模型在无需先验知识的情况下自动确定了底层张量秩，避免了固定秩方法中常见的过拟合与欠拟合问题。
• 变分贝叶斯推断框架实现了所有测试流式数据类型（包括合成数据、视频、MRI与网络流量）的实时更新与稳定性能。
• 遗忘因子结合滑动窗口大小为20（μ=0.98）在动态环境中实现了响应速度与稳定性的良好平衡。