[论文解读] Shape Constrained Tensor Decompositions using Sparse Representations in Over-Complete Libraries

Bethany Lusch, C. Eric+1 more|arXiv (Cornell University)|Aug 16, 2016

Tensor decomposition and applications参考文献 22被引用 9

一句话总结

该论文提出形状约束张量分解（SCTD），一种通过在过完备解析函数库上使用稀疏回归来对多维数据中的时间动态进行建模的方法。通过将时间模式约束为基函数（如正弦函数或指数函数）的稀疏组合，该方法在不将数据展平为矩阵的情况下，实现了可解释的低秩张量分解，有效捕捉了SVD或标准CP分解常遗漏的瞬态和间歇性现象。

ABSTRACT

We consider $N$-way data arrays and low-rank tensor factorizations where the time mode is coded as a sparse linear combination of temporal elements from an over-complete library. Our method, Shape Constrained Tensor Decomposition (SCTD) is based upon the CANDECOMP/PARAFAC (CP) decomposition which produces $r$-rank approximations of data tensors via outer products of vectors in each dimension of the data. By constraining the vector in the temporal dimension to known analytic forms which are selected from a large set of candidate functions, more readily interpretable decompositions are achieved and analytic time dependencies discovered. The SCTD method circumvents traditional {\em flattening} techniques where an $N$-way array is reshaped into a matrix in order to perform a singular value decomposition. A clear advantage of the SCTD algorithm is its ability to extract transient and intermittent phenomena which is often difficult for SVD-based methods. We motivate the SCTD method using several intuitively appealing results before applying it on a number of high-dimensional, real-world data sets in order to illustrate the efficiency of the algorithm in extracting interpretable spatio-temporal modes. With the rise of data-driven discovery methods, the decomposition proposed provides a viable technique for analyzing multitudes of data in a more comprehensible fashion.

研究动机与目标

• 开发一种张量分解方法，以在不将N维数据展平为矩阵的情况下，保持其多维结构。
• 通过将时间模式约束为已知解析形式，提升低秩张量分解的可解释性。
• 检测SVD或标准CP方法难以捕捉的高维数据中的瞬态和间歇性动态。
• 通过稀疏选择时间基函数，实现对潜在物理或动力学过程的数据驱动发现。
• 提供一个框架，通过从复杂数据中提取解析时间依赖关系，支持预测和诊断洞察。

提出的方法

• 该方法使用CANDECOMP/PARAFAC（CP）分解，将N维张量近似为秩一成分的和。
• 时间模式向量被约束为来自候选解析形式过完备库的函数的稀疏线性组合。
• 通过ℓ₁-正则化进行稀疏回归，以选择最能拟合观测时间动态的最小基函数集合。
• 优化过程交替更新系数向量（通过Lasso）和其它因子矩阵，同时保持低秩结构。
• 该方法避免了矩阵展开，保留了完整的张量结构，从而更准确地建模时空模式。
• 该方法以迭代方式实现，每次迭代均优化时间基选择和因子矩阵估计。

实验结果

研究问题

• RQ1 从过完备时间函数库中进行稀疏选择，是否能提升张量分解的可解释性？
• RQ2 SCTD是否能比传统SVD或CP分解更好地检测瞬态和间歇性动态？
• RQ3 将时间模式约束为解析形式，是否能产生更具物理意义且更具预测性的低秩近似？
• RQ4 使用过完备库和ℓ₁-正则化如何影响真实底层时间动态的恢复？
• RQ5 SCTD能否在不进行数据展平的情况下，有效应用于现实世界中的高维数据？

主要发现

• SCTD通过从大型过完备库中仅选择少数相关基函数，成功提取了可解释的、解析的时间动态。
• 该方法有效捕捉了在标准CP或基于SVD的方法中常被掩盖的瞬态和间歇性现象。
• 通过ℓ₁-正则化实现的稀疏回归，能够识别出最小但信息量丰富的时变函数集合，以解释数据。
• 在真实世界数据集（包括具有复杂时间行为的数据）中，该算法在识别潜在动力学过程方面优于传统张量分解方法。
• 该方法保持了完整的张量结构，避免了基于SVD方法中因矩阵展开而引入的统计不准确性。
• 在模拟数据和真实世界数据上的实证结果表明，SCTD提供的诊断和预测洞察优于标准分解技术。