[论文解读] Perturbation Bounds for Orthogonally Decomposable Tensors and Their Applications in High Dimensional Data Analysis.

Arnab Auddy, Ming Yuan|arXiv (Cornell University)|Jul 17, 2020

Tensor decomposition and applications参考文献 35被引用 5

一句话总结

本文为正交分解张量（odec张量）中的奇异值和奇异向量建立了确定性扰动界，表明扰动对每个奇异分量的影响是独立的——这与矩阵中奇异值和奇异向量相互作用的情况不同。这些界统一了张量SVD、张量回归和潜变量建模的分析，在高维数据设置中揭示了新见解。

ABSTRACT

We develop deterministic perturbation bounds for singular values and vectors of orthogonally decomposable tensors, in a spirit similar to classical results for matrices. Our bounds exhibit intriguing differences between matrices and higher-order tensors. Most notably, they indicate that for higher-order tensors perturbation affects each singular value/vector in isolation. In particular, its effect on a singular vector does not depend on the multiplicity of its corresponding singular value or its distance from other singular values. Our results can be readily applied and provide a unified treatment to many different problems involving higher-order orthogonally decomposable tensors. In particular, we illustrate the implications of our bounds through three connected yet seemingly different high dimensional data analysis tasks: tensor SVD, tensor regression and estimation of latent variable models, leading to new insights in each of these settings.

研究动机与目标

• 为高阶张量中的奇异值和奇异向量建立严格的确定性扰动界，扩展经典矩阵结果。
• 识别矩阵与张量扰动行为之间的根本差异，特别是关于奇异向量敏感性的差异。
• 统一分析涉及正交分解张量的多种高维数据问题。
• 提供一个理论基础，以实现对张量SVD、张量回归和潜变量模型估计的新见解。

提出的方法

• 利用谱范数和张量结构，推导正交分解张量中奇异值和奇异向量扰动的确定性上界。
• 利用正交分解性质，解耦每个奇异分量的影响，实现独立分析。
• 将界应用于张量SVD，分析噪声对低秩张量逼近的影响。
• 将框架扩展到张量回归，量化测量噪声对系数估计的影响。
• 利用界评估潜变量模型估计器在模型误设或抽样噪声下的鲁棒性。
• 证明奇异向量的扰动独立于奇异值的重数或与其他奇异值的谱间隙，这是与矩阵理论的关键区别。

实验结果

研究问题

• RQ1 与矩阵相比，扰动如何影响高阶张量中的奇异值和奇异向量？
• RQ2 是否可以以一种隔离每个奇异分量影响的方式，为张量推导出扰动界？
• RQ3 这些界在多大程度上统一了张量SVD、张量回归和潜变量模型的分析？
• RQ4 奇异值的重数或谱间隙是否会影响张量中其对应奇异向量的扰动？
• RQ5 这些界对高维张量数据中的统计估计有何影响？

主要发现

• 高阶张量中奇异向量的扰动效应独立于奇异值的重数或与其他奇异值的距离，这是与矩阵理论的关键差异。
• 界表明，odec张量中的每个奇异值和奇异向量均独立受到影响，相邻分量之间无交叉影响。
• 张量SVD估计在噪声下具有鲁棒性，误差界与扰动的谱范数成比例。
• 张量回归估计器受益于相同的隔离特性，即使在噪声观测下也能实现稳定的系数恢复。
• 潜变量模型估计得益于这些界，确保在温和正则条件下的一致性恢复。
• 该理论框架为三个看似不同的高维数据问题提供了统一处理，揭示了其共享的底层机制。