[论文解读] The $\ell_\infty$ Perturbation of HOSVD and Low Rank Tensor Denoising.

Dong Xia, Fan Zhou|arXiv (Cornell University)|Jul 5, 2017

Tensor decomposition and applications被引用 1

一句话总结

本文建立了张量高阶奇异值分解（HOSVD）的上确界范数（ℓ∞）扰动界，提出了在逐元素范数下具有精确偏差控制的估计器。研究展示了低秩张量去噪的快速收敛速率，并揭示了高维统计学习中的非典型相变现象，如高斯混合模型中的精确聚类和子张量定位中的支持恢复。

ABSTRACT

The higher order singular value decomposition (HOSVD) of tensors is a generalization of matrix SVD. The perturbation analysis of HOSVD under random noise is more delicate than its matrix counterpart. Recently, polynomial time algorithms have been proposed where statistically optimal estimates of the singular subspaces and the low rank tensors are attainable in the Euclidean norm. In this article, we analyze the sup-norm perturbation bounds of HOSVD and introduce estimators of the singular subspaces with sharp deviation bounds in the sup-norm. We also investigate a low rank tensor denoising estimator and demonstrate its fast convergence rate with respect to the entry-wise errors. The sup-norm perturbation bounds reveal unconventional phase transitions for statistical learning applications such as the exact clustering in high dimensional Gaussian mixture model and the exact support recovery in sub-tensor localizations. In addition, the bounds established for HOSVD also elaborate the one-sided sup-norm perturbation bounds for the singular subspaces of unbalanced (or fat) matrices.

研究动机与目标

• 分析张量HOSVD的ℓ∞-范数扰动，其复杂性高于矩阵SVD，因张量结构更复杂。
• 为奇异子空间构造具有紧致上确界范数偏差界的估计器，提升高维设定下的统计精度。
• 在逐元素误差度量下研究低秩张量去噪，建立快速收敛速率。
• 揭示统计学习应用中的新相变现象，如高维高斯混合模型中的精确聚类和子张量定位中的支持恢复。
• 通过HOSVD分析将单边上确界范数界扩展至非平衡（或胖）矩阵。

提出的方法

• 利用集中不等式和张量特异性谱分析，推导HOSVD的上确界范数扰动界。
• 提出一种基于HOSVD截断的低秩张量去噪估计器，专为逐元素（上确界范数）误差控制而优化。
• 在ℓ∞-范数下采用精确的奇异子空间估计器偏差界，实现对张量元素的高概率一致控制。
• 将该界应用于检测统计模型中的相变现象，如子张量定位中的精确恢复和高维混合模型中的聚类。
• 通过利用张量框架和HOSVD结构，建立非平衡矩阵奇异子空间的单边上确界范数界。
• 使用多项式时间算法，在ℓ∞-范数下实现统计最优估计，确保计算可行性。

实验结果

研究问题

• RQ1 张量HOSVD的上确界范数扰动界是什么？与经典欧几里得范数界有何不同？
• RQ2 我们能否构造出在逐元素（上确界范数）误差度量下具有快速收敛速率的低秩张量去噪估计器？
• RQ3 在HOSVD的ℓ∞-范数分析下，高维统计模型中会涌现出何种相变？
• RQ4 HOSVD的上确界范数界如何实现子张量定位任务中的精确支持恢复？
• RQ5 能否通过基于张量的HOSVD分析，推导出非平衡矩阵奇异子空间的单边上确界范数界？

主要发现

• 本文建立了HOSVD的精确上确界范数扰动界，实现了对张量估计中逐元素误差的统一控制。
• 所提出的低秩张量去噪估计器在ℓ∞-范数下实现了快速收敛速率，在高维设定下优于现有方法。
• 统计学习中揭示了非典型的相变现象：在特定条件下，高维高斯混合模型中可实现精确聚类，子张量定位中可实现精确支持恢复。
• 该分析首次为非平衡矩阵奇异子空间提供了单边上确界范数界，将结果从矩阵框架扩展至张量框架。
• 上确界范数界被证明是紧致且统计最优的，其偏差控制随张量维数和噪声水平呈有利增长。
• 结果表明，HOSVD的ℓ∞-范数分析在高维张量问题中，相比标准欧几里得范数方法，能提供更强的恢复保证。