[论文解读] Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning

Sirisha Rambhatla, Xingguo Li+1 more|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 53被引用 8

一句话总结

该论文提出了一种可证明收敛的在线算法TensorNOODL，用于结构化张量的CP/PARAFAC张量分解，其中一个因子为非相干且固定的，其余因子为稀疏且时变的。在温和条件下，该算法以线性收敛速率实现精确恢复（仅允许缩放和排列），从而实现可扩展的、具有理论保证的实时张量分解，适用于流式数据。

ABSTRACT

We consider the problem of factorizing a structured 3-way tensor into its constituent Canonical Polyadic (CP) factors. This decomposition, which can be viewed as a generalization of singular value decomposition (SVD) for tensors, reveals how the tensor dimensions (features) interact with each other. However, since the factors are a priori unknown, the corresponding optimization problems are inherently non-convex. The existing guaranteed algorithms which handle this non-convexity incur an irreducible error (bias), and only apply to cases where all factors have the same structure. To this end, we develop a provable algorithm for online structured tensor factorization, wherein one of the factors obeys some incoherence conditions, and the others are sparse. Specifically we show that, under some relatively mild conditions on initialization, rank, and sparsity, our algorithm recovers the factors exactly (up to scaling and permutation) at a linear rate. Complementary to our theoretical results, our synthetic and real-world data evaluations showcase superior performance compared to related techniques. Moreover, its scalability and ability to learn on-the-fly makes it suitable for real-world tasks.

研究动机与目标

• 为解决现有在线张量分解算法在具有异构因子结构的结构化张量上缺乏可证明性、无偏性和可扩展性的问题。
• 开发一种方法，实现在流式设置下对张量因子的精确恢复，其中一因子为非相干且固定的，其余因子为稀疏且时变的。
• 克服现有非凸、有偏或计算开销大的算法在缺乏收敛性保证和在线适应性方面的局限性。
• 在初始化、秩和稀疏性等温和条件下，提供收敛性和恢复性的理论保证。
• 实现实时学习与推理，适用于运动分析、网络行为分析和生物医学信号处理等应用。

提出的方法

• 该方法将张量的非零纤维建模为字典学习框架的结果，其中非相干因子作为固定的字典。
• 将张量分解问题表述为稀疏编码问题，其中数据样本（纤维）作为字典原子的线性组合，且系数稀疏。
• 算法采用带有自适应步长的在线交替最小化策略，实时更新稀疏因子和非相干字典。
• 利用数据中的Kronecker（Khatri-Rao）结构，以捕捉张量特有的依赖关系，提高估计精度。
• 理论分析表明，在温和条件下——如字典的非相干性和系数的稀疏性——该算法能以线性收敛速率精确恢复真实因子（仅允许缩放和排列）。
• 通过利用先前数据（如前一赛季的数据）的稳健字典学习算法进行初始化，以确保快速收敛。

实验结果

研究问题

• RQ1 当一个因子为非相干且其余因子为稀疏且时变时，可证明的在线算法能否实现张量因子的精确恢复？
• RQ2 在初始化、秩和稀疏性方面，哪些理论条件能确保在线张量分解中的线性收敛和精确恢复？
• RQ3 与现有非凸或凸张量分解技术相比，该方法在偏差、可扩展性和收敛性保证方面表现如何？
• RQ4 该算法能否有效应用于现实世界的流式数据，如NBA投篮模式，其中用户-项目交互稀疏且动态变化？
• RQ5 字典学习框架是否能实现高维、稀疏张量流中鲁棒且可扩展的在线学习？

主要发现

• 所提出的TensorNOODL算法在初始化、秩和稀疏性等温和条件下，能精确恢复张量因子（仅允许缩放和排列）。
• 该算法线性收敛至真实因子，在合成数据和真实世界实验中均表现出快速且稳定的收敛性。
• 在NBA投篮模式分析中，该方法成功基于共享投篮选择模式对球员和球队进行聚类，结果与已知的风格相似性一致（例如，詹姆斯·哈登与德文·布克）。
• 在流式数据上，该算法在准确性和可扩展性方面优于基线方法。
• 理论保证得到了实证结果的补充，表明其对噪声以及随时间变化的稀疏因子具有鲁棒性。
• 由于具备在线学习能力和低计算开销，该方法具有高度可扩展性，适用于实时应用，如在线体育分析和网络行为监控。