[论文解读] Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations

Animashree Anandkumar, Prateek Jain+2 more|arXiv (Cornell University)|Oct 15, 2015

Tensor decomposition and applications参考文献 11被引用 32

一句话总结

该论文提出了一种非凸张量鲁棒分解算法RTD，通过在基于张量幂方法的低秩CP分解与残差的硬阈值化之间交替，以恢复低秩和块稀疏张量。在无偏性和有界扰动条件下，证明了全局收敛性，表明张量方法可容忍显著更高的块稀疏噪声（每纤维高达O(n^{17/12})），远超矩阵方法（O(n)），在结构化噪声设置下展现出更优的鲁棒性与效率。

ABSTRACT

Robust tensor CP decomposition involves decomposing a tensor into low rank and sparse components. We propose a novel non-convex iterative algorithm with guaranteed recovery. It alternates between low-rank CP decomposition through gradient ascent (a variant of the tensor power method), and hard thresholding of the residual. We prove convergence to the globally optimal solution under natural incoherence conditions on the low rank component, and bounded level of sparse perturbations. We compare our method with natural baselines which apply robust matrix PCA either to the {\em flattened} tensor, or to the matrix slices of the tensor. Our method can provably handle a far greater level of perturbation when the sparse tensor is block-structured. This naturally occurs in many applications such as the activity detection task in videos. Our experiments validate these findings. Thus, we establish that tensor methods can tolerate a higher level of gross corruptions compared to matrix methods.

研究动机与目标

• 开发一种鲁棒张量分解方法，从严重损坏的张量中恢复低秩与稀疏分量。
• 解决将基于矩阵的鲁棒PCA应用于张量时的局限性，后者忽略了张量特有的代数约束与CP秩结构。
• 在自然无偏性和有界扰动条件下，证明所提出的非凸算法的全局收敛性。
• 从理论上和实证上表明，张量方法可容忍远高于矩阵方法的块结构稀疏扰动。
• 提供一种快速、可扩展的算法，具有线性收敛速率，用于鲁棒张量CP分解。

提出的方法

• RTD算法在残差张量$T - \hat{S}$上通过一种新型梯度上升变体的张量幂方法更新低秩分量。
• 通过残差$T - \hat{L}$的硬阈值化更新稀疏分量，仅保留最大幅值的条目。
• 使用张量特征值问题的正则化变分形式，确保在初始点位于小邻域内时以线性速率收敛到真实特征向量。
• 该方法利用张量特有的CP秩约束，避免了矩阵秩最小化中固有的凸松弛问题。
• 算法采用SVD初始化，以确保与真实低秩分量的良好初始对齐，从而提升收敛保证。
• 理论分析表明，RTD在无偏性和有界块稀疏扰动下实现线性收敛与全局恢复。

实验结果

研究问题

• RQ1 非凸迭代方法是否能在无偏性和有界稀疏扰动条件下，实现鲁棒张量CP分解的全局恢复？
• RQ2 将基于张量的鲁棒分解应用于张量数据时，其性能与基于矩阵的鲁棒PCA相比如何？
• RQ3 与矩阵方法相比，张量方法可容忍的块稀疏噪声最大水平是多少？
• RQ4 所提出的RTD算法是否在收敛速度和精度上优于基于矩阵的基线方法？
• RQ5 在块结构稀疏性下，张量方法可处理的每根纤维中损坏条目数量的理论极限是什么？

主要发现

• 在低秩张量的自然无偏条件和有界稀疏扰动下，RTD算法可证明收敛至全局最优解$\{L^*, S^*\}$。
• RTD实现线性收敛速率，仅需$O(\log(1/\epsilon))$次迭代即可获得$\epsilon$-近似解。
• 对于秩-1张量，RTD每根纤维可容忍$O(n^{17/12})$个损坏条目，显著超过矩阵鲁棒PCA的$O(n)$限制。
• 随着张量秩$r$的提高，RTD相对于矩阵方法的优势增强，在受控块稀疏性下表现出更优的理论性能。
• 实验结果表明，RTD在合成数据上的准确度比矩阵方法高2–3倍，速度更快8–14倍。
• 在真实世界的Curtain数据集上，RTD在活动检测任务中实现了更优的恢复效果，并实现了10%的速度提升。