[论文解读] On Higher-order Singular Value Decomposition from Incomplete Data.

Yangyang Xu|arXiv (Cornell University)|Nov 16, 2014

Tensor decomposition and applications被引用 3

一句话总结

本文提出了一种针对不完整张量数据的高阶奇异值分解（HOSVD）的统一优化框架，将张量填补与分解整合为单一的非凸问题。通过利用具有全局收敛保证的块坐标更新算法，该方法在低秩张量补全以及人脸识别和磁共振成像（MRI）重建等应用中，性能优于现有最先进方法。

ABSTRACT

Abstract. Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance. Key words. multilinear data analysis, higher-order singular value decomposition (HOSVD), low-rank tensor completion, non-convex optimization, higher-order orthogonality iteration (HOOI), global convergence.

研究动机与目标

• 解决传统两步法（先填补后HOSVD）在不完整张量数据处理中效率低下且不可靠的问题。
• 构建一个联合执行张量填补与高阶奇异值分解的单一优化问题。
• 在较弱假设下，开发用于求解所提优化问题的收敛算法。
• 首次建立高阶正交迭代（HOOI）方法的全局收敛性。
• 在低秩张量补全及人脸识别和MRI重建等实际应用中，展示性能的提升。

提出的方法

• 将不完整HOSVD问题建模为一个非凸优化问题，联合最小化低秩近似误差并强制实现高阶正交性。
• 提出两种块坐标更新算法：一种采用交替最小化，另一种采用变量硬阈值法进行秩近似。
• 以张量Tucker分解为底层结构，通过迭代优化核心张量与因子矩阵。
• 在固定核心张量时对因子矩阵应用交替最小二乘更新，反之亦然，确保在弱条件下收敛。
• 通过硬阈值化引入秩保持机制，在优化过程中维持低秩结构。
• 在标准假设下证明两种算法的全局收敛性，且第二种算法的收敛性可推出HOOI方法的全局收敛性。

实验结果

研究问题

• RQ1 能否设计一种统一的优化框架，实现对不完整数据的张量填补与HOSVD的同步处理，从而避免两步法的低效性？
• RQ2 所提出的用于统一问题的块坐标更新算法是否在弱假设下实现全局收敛？
• RQ3 所提算法的收敛性是否意味着广泛使用的HOOI方法也具备全局收敛性，从而解决此前缺乏此类保证的长期开放问题？
• RQ4 在低秩张量补全任务中，所提方法相较于最先进方法在准确率与效率方面表现如何？
• RQ5 所提方法在人脸识别和MRI图像重建等实际应用中能否实现更优性能？

主要发现

• 所提出的统一优化框架在低秩张量补全任务中优于最先进方法，表现出更高的准确率和更快的收敛速度。
• 第一种块坐标更新算法在弱假设下实现全局收敛，为其应用提供了理论基础。
• 第二种算法的收敛性意味着HOOI方法的全局收敛性，从而解决了张量分解领域长期存在的开放问题。
• 在人脸识别和MRI图像重建任务中，所提方法实现了优于现有方法的重建准确率。
• 实验结果表明，联合填补与分解相比顺序的两步法，能获得更可靠、更鲁棒的张量分解结果。