[论文解读] Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|Sep 6, 2018

Tensor decomposition and applications参考文献 23被引用 7

一句话总结

本文提出了一种变分贝叶斯推理框架，用于鲁棒的流式张量分解与补全，能够同时识别稀疏异常值、自动确定张量秩，并在实时环境中拟合低秩结构。通过将流式张量建模为低秩与稀疏分量之和，并采用共轭先验，该方法在动态磁共振成像（MRI）和网络流量数据上相较于现有流式算法展现出更优的准确性和鲁棒性。

ABSTRACT

Streaming tensor factorization is a powerful tool for processing high-volume and multi-way temporal data in Internet networks, recommender systems and image/video data analysis. Existing streaming tensor factorization algorithms rely on least-squares data fitting and they do not possess a mechanism for tensor rank determination. This leaves them susceptible to outliers and vulnerable to over-fitting. This paper presents a Bayesian robust streaming tensor factorization model to identify sparse outliers, automatically determine the underlying tensor rank and accurately fit low-rank structure. We implement our model in Matlab and compare it with existing algorithms on tensor datasets generated from dynamic MRI and Internet traffic.

研究动机与目标

• 解决现有流式张量分解方法依赖固定秩假设且采用最小二乘拟合所带来的局限性，这些方法对异常值敏感且易过拟合。
• 实现在流式处理过程中自动确定张量秩，消除对手动秩选择的依赖。
• 利用贝叶斯层次模型，同时对流式多维数据中的低秩结构与稀疏异常值进行建模。
• 在噪声或数据不完整条件下，提升张量补全与分解任务的鲁棒性与准确性。
• 开发一种可扩展的在线推理框架，适用于动态系统（如医学成像与网络监控）中的实时应用。

提出的方法

• 采用CP分解框架，将流式张量建模为低秩分量与时变稀疏分量之和。
• 在噪声精度与分量方差上应用具有逆伽马分布与伽马分布的层次贝叶斯先验，以实现自动秩估计。
• 使用变分贝叶斯推理近似潜在因子的后验分布，支持基于滑动窗口与遗忘因子的在线更新。
• 引入遗忘机制，采用衰减因子 μ = 0.98，以自适应地更新因子估计值，适应新数据的到来。
• 通过平均场近似，推导出因子矩阵、噪声精度与稀疏性参数后验分布的闭式更新方程。
• 在MATLAB中实现该算法，采用大小为20的滑动窗口，并利用广义内积与Khatri-Rao积实现高效的张量重构。

实验结果

研究问题

• RQ1 贝叶斯流式张量分解模型是否能够在无先验知识的情况下自动确定潜在张量秩？
• RQ2 与标准最小二乘方法相比，引入稀疏分量在流式张量数据中如何提升对异常值的鲁棒性？
• RQ3 与现有流式张量分解算法相比，所提方法在重构与分解精度方面有多大程度的性能提升？
• RQ4 该模型是否能有效处理不完整或部分观测的流式张量数据，同时保持低秩结构并检测异常？
• RQ5 遗忘因子如何影响算法在动态环境中的适应性与性能表现？

主要发现

• 在Abilene网络流量数据集上，所提方法在因子分解误差方面显著优于OLSTEC与Online-SGD，在经历10帧预热期后，相对预测误差更低。
• 在随机采样率为15%的动态心脏MRI数据上，该模型比OLSTEC与Online-SGD更准确地重构图像，能够同时捕捉噪声与大振幅异常值。
• 在Abilene数据集中50%的条目缺失时，该算法仍能保持较低的重构误差，表明其在高数据丢失情况下的补全任务中具有强鲁棒性。
• 该模型成功识别出MRI与网络流量数据中的稀疏异常值，这些异常值对于检测DDoS攻击或医学影像伪影等异常事件至关重要。
• 通过变分贝叶斯框架实现自动秩确定，消除了对手动调参的依赖，降低了过拟合风险。
• 使用遗忘因子（μ = 0.98）使算法能够适应流式数据中的时间变化，同时保持稳定性和准确性。