[论文解读] Semiparametric Tensor Factor Analysis by Iteratively Projected SVD

Elynn Y. Chen, Dong Xia+2 more|arXiv (Cornell University)|Jul 5, 2020

Tensor decomposition and applications参考文献 42被引用 15

一句话总结

本文提出半参数张量分解（STEFA）框架，通过迭代投影奇异值分解（IP-SVD）算法将辅助协变量整合到载荷矩阵中，从而提升低秩张量分解的性能。IP-SVD在估计精度和收敛速度方面优于Tucker分解，可在合成与真实张量数据上实现有效估计与预测。

ABSTRACT

This paper introduces a general framework of Semiparametric TEnsor FActor analysis (STEFA) that focuses on the methodology and theory of low-rank tensor decomposition with auxiliary covariates. STEFA models extend tensor factor models by incorporating instrumental covariates in the loading matrices. We propose an algorithm of Iteratively Projected SVD (IP-SVD) for the semiparametric estimations. It iteratively projects tensor data onto the linear space spanned by covariates and applies SVD on matricized tensors over each mode. We establish the convergence rates of the loading matrices and the core tensor factor. Compared with the Tucker decomposition, IP-SVD yields more accurate estimates with a faster convergence rate. Besides estimation, we show several prediction methods with newly observed covariates based on the STEFA model. On both real and synthetic tensor data, we demonstrate the efficacy of the STEFA model and the IP-SVD algorithm on both the estimation and prediction tasks.

研究动机与目标

• 开发一种灵活的低秩张量分解框架，通过引入辅助协变量以提高估计精度。
• 解决传统张量分解方法在载荷矩阵中未利用协变量信息的局限性。
• 提出一种高效算法IP-SVD，通过迭代投影将张量数据映射到协变量诱导的子空间，以提升收敛速度与估计精度。
• 在STEFA模型下建立载荷矩阵与核心张量因子的理论收敛速率。
• 基于拟合的STEFA模型，实现对包含未见协变量的新张量数据的准确预测。

提出的方法

• STEFA模型通过将工具变量嵌入载荷矩阵，扩展了张量分解，以捕捉协变量依赖的结构。
• IP-SVD算法在每一模式上，先将展平的张量投影到由协变量张成的线性空间，再应用SVD。
• 在每次迭代中，方法通过利用协变量与张量模式之间的关系，优化低秩逼近。
• 算法通过交替执行投影步骤与基于SVD的更新，收敛至稳定的低秩分解。
• 理论分析建立了在STEFA模型下载荷矩阵与核心张量的收敛速率。
• 基于估计模型推导出预测方法，以处理训练期间未出现的新协变量。

实验结果

研究问题

• RQ1 将辅助协变量整合到载荷矩阵是否能提升低秩张量分解的估计精度？
• RQ2 IP-SVD算法在估计精度与收敛速度方面与Tucker分解相比表现如何？
• RQ3 在STEFA模型下，载荷矩阵与核心张量的理论收敛速率是什么？
• RQ4 STEFA模型能否在包含先前未见协变量的新张量数据上实现准确预测？
• RQ5 IP-SVD算法在合成与真实世界张量数据集上的表现如何？

主要发现

• 在低秩张量分解中，IP-SVD算法相比Tucker分解实现了更快的收敛速度与更精确的估计。
• 在STEFA模型下，建立了载荷矩阵与核心张量因子的理论收敛速率。
• STEFA模型能够有效实现对包含新协变量的张量数据的预测，显著扩展了其在估计之外的应用价值。
• 在合成与真实张量数据上的实证结果证实，IP-SVD在估计与预测任务中均表现更优。
• 将协变量嵌入载荷矩阵显著提升了模型的可解释性与预测性能。
• IP-SVD中的迭代投影机制能有效捕捉跨张量模式的协变量依赖结构。