[论文解读] Regularized and Smooth Double Core Tensor Factorization for Heterogeneous Data

Davoud Ataee Tarzanagh, George Michailidis|arXiv (Cornell University)|Nov 24, 2019

Tensor decomposition and applications参考文献 107被引用 5

一句话总结

本文提出双核张量分解（DCOT），一种新型张量分解方法，通过将全局低秩结构与特定个体的异质性成分分离，对异质性数据进行建模。通过整合平滑损失函数并使用线性化ADMM进行优化，DCOT即使在存在缺失数据的情况下也能实现精确的低秩近似，在图像补全、推荐系统和多组学数据分析方面相较于传统张量方法表现出更优性能。

ABSTRACT

We introduce a general tensor model suitable for data analytic tasks for {\em heterogeneous} datasets, wherein there are joint low-rank structures within groups of observations, but also discriminative structures across different groups. To capture such complex structures, a double core tensor (DCOT) factorization model is introduced together with a family of smoothing loss functions. By leveraging the proposed smoothing function, the model accurately estimates the model factors, even in the presence of missing entries. A linearized ADMM method is employed to solve regularized versions of DCOT factorizations, that avoid large tensor operations and large memory storage requirements. Further, we establish theoretically its global convergence, together with consistency of the estimates of the model parameters. The effectiveness of the DCOT model is illustrated on several real-world examples including image completion, recommender systems, subspace clustering and detecting modules in heterogeneous Omics multi-modal data, since it provides more insightful decompositions than conventional tensor methods.

研究动机与目标

• 为解决张量中异质性数据建模的挑战，其中联合低秩结构与具有区分性的个体特异性变化并存。
• 开发一种能够同时捕捉全局与局部（异质性）结构的张量分解模型，以超越标准的低秩分解方法。
• 通过双核结构引入关于异质性的先验知识，实现更精确且可解释的分解。
• 通过一种新颖的平滑损失函数提升模型在缺失数据下的鲁棒性与收敛性。
• 为所提出方法建立收敛性与参数估计一致性的理论保证。

提出的方法

• 提出双核张量分解（DCOT），将核心张量分解为全局同质核心与局部异质核心的叠加。
• 引入一种新的平滑损失函数，利用数据张量中的邻域相似性信息，以提升估计精度与收敛性。
• 采用线性化交替方向乘子法（ADMM）求解正则化DCOT问题，避免大规模张量运算，降低内存消耗。
• 引入正则化项以控制模型复杂度并提升泛化能力，尤其在高缺失数据率下表现更优。
• 利用加权次高斯浓度不等式推导估计误差的理论界，确保在弱假设下的参数估计一致性。
• 通过整合辅助元数据（如用户资料、图像元数据）来定义局部异质性分量，将方法应用于真实世界数据。

实验结果

研究问题

• RQ1 张量分解模型能否有效捕捉多模态数据中同时存在的全局低秩结构与个体特异性异质性模式？
• RQ2 基于邻域相似性的平滑损失函数如何在存在缺失数据的情况下提升张量分解的精度与收敛性？
• RQ3 所提出的线性化ADMM算法在正则化DCOT中的理论收敛行为如何？
• RQ4 与Tucker或CP等标准张量分解方法相比，DCOT在重构精度与可解释性方面表现如何？
• RQ5 在真实应用中，通过元数据等先验异质性信息的引入，能在多大程度上提升分解质量？

主要发现

• 所提出的DCOT模型在图像补全任务中，相较于标准张量分解方法，实现了显著更高的重构精度，尤其在高缺失数据率下表现更优。
• 平滑损失函数通过利用数据张量中的局部邻域结构，提升了收敛速度与估计精度。
• 线性化ADMM算法展现出全局收敛性，且避免了大规模张量运算，使高维数据的高效计算成为可能。
• 理论分析证实，在弱概率假设下，估计模型参数具有一致性，误差界依赖于数据稀疏性与异质性结构。
• 实证结果表明，DCOT在子空间聚类与多组学数据分析中优于广义CP（GCP）模型，揭示出更具生物学意义的模块。
• 在推荐系统中，DCOT通过在局部核心中建模异质性，更准确地捕捉用户特定偏好，从而提升预测性能。