[论文解读] Online nonnegative CP-dictionary learning for Markovian data

Hanbaek Lyu, Christopher Strohmeier+1 more|arXiv (Cornell University)|Sep 16, 2020

Tensor decomposition and applications被引用 14

一句话总结

本文提出了一种在线非负CP字典学习算法，适用于马尔可夫假设下的流式张量数据，可在无需无 coherence 或稀疏性假设的情况下收敛至目标函数的驻点。该方法相较于标准非负张量分解具有更快的收敛速度，并通过灵活重塑输入数据模态，利用张量结构实现对质性不同的CP字典的学习。

ABSTRACT

Online Tensor Factorization (OTF) is a fundamental tool in learning low-dimensional interpretable features from streaming multi-modal data. While various algorithmic and theoretical aspects of OTF have been investigated recently, a general convergence guarantee to stationary points of the objective function without any incoherence or sparsity assumptions is still lacking even for the i.i.d. case. In this work, we introduce a novel algorithm that learns a CANDECOMP/PARAFAC (CP) basis from a given stream of tensor-valued data under general constraints, including nonnegativity constraints that induce interpretability of the learned CP basis. We prove that our algorithm converges almost surely to the set of stationary points of the objective function under the hypothesis that the sequence of data tensors is generated by an underlying Markov chain. Our setting covers the classical i.i.d. case as well as a wide range of application contexts including data streams generated by independent or MCMC sampling. Our result closes a gap between OTF and Online Matrix Factorization in global convergence analysis \commHL{for CP-decompositions}. Experimentally, we show that our algorithm converges much faster than standard algorithms for nonnegative tensor factorization tasks on both synthetic and real-world data. Also, we demonstrate the utility of our algorithm on a diverse set of examples from image, video, and time-series data, illustrating how one may learn qualitatively different CP-dictionaries from the same tensor data by exploiting the tensor structure in multiple ways.

研究动机与目标

• 开发一种在线算法，用于从流式张量数据中学习可解释的、非负的CP字典。
• 在马尔可夫数据假设下，建立目标函数几乎必然收敛至驻点的理论保证。
• 弥合在线矩阵分解与在线张量分解在CP分解中的全局收敛性分析之间的差距。
• 通过允许对张量模态进行任意重塑，实现对多模态数据的灵活建模，以提取不同的结构模式。
• 在合成数据及真实世界图像、视频和时间序列数据上，展示算法在收敛速度和实用性方面的优越表现。

提出的方法

• 该算法通过在非负张量值数据的流式序列上使用随机梯度下降方法，增量式地更新CP字典。
• 对所有因子矩阵施加非负性约束，以确保学习到的秩-1张量原子具有可解释性。
• 该方法假设数据张量遵循马尔可夫链，推广了独立同分布（i.i.d.）情形，涵盖MCMC采样和独立采样。
• 支持对输入张量模态的任意重塑（例如，将时间和测量组合，或将城市与时间组合），以通过CP分解控制所建模的结构依赖关系。
• 算法采用递减步长规则以确保收敛，更新以循环或随机方式应用于所有因子矩阵。
• 理论分析证明，在马尔可夫链满足温和条件时，可几乎必然收敛至目标函数的驻点集合。

实验结果

研究问题

• RQ1 是否可以在无需无 coherence 或稀疏性假设的一般数据假设下，实现在线非负CP字典学习的收敛？
• RQ2 与批处理非负张量分解相比，该算法在流式数据上的收敛速度表现如何？
• RQ3 通过在CP字典学习前对张量模态进行重排或重塑，能在多大程度上捕捉多模态数据中的不同结构模式？
• RQ4 当数据流由马尔可夫过程生成而非独立同分布采样时，该算法是否仍能保持收敛性保证？
• RQ5 同一组数据是否可能因张量重塑方式的不同，而产生质性上不同的、可解释的CP字典？

主要发现

• 所提出的算法在数据张量由马尔可夫链生成的假设下，几乎必然收敛至目标函数的驻点集合。
• 该算法在合成数据和真实世界数据集上，相较于标准非负张量分解算法，展现出显著更快的收敛速度。
• 在学习前对输入张量进行重塑，可提取出质性不同的CP字典：一种捕捉时间与空间的联合模式，另一种捕捉特定测量的动态，第三种捕捉特定城市的时序演化。
• 该方法成功从气象数据中学习到可解释的CP字典原子，不同重塑策略可生成城市与测量之间24小时气象演变的不同表征。
• 该算法推广了i.i.d.情形，适用于包括MCMC采样和独立采样在内的广泛数据生成过程，且无需额外假设。
• 理论结果填补了在线矩阵分解与在线张量分解在CP分解中收敛性分析的关键差距。