[论文解读] Tensor Robust Principal Component Analysis: Better recovery with atomic norm regularization

Derek Driggs, Stephen Becker+1 more|arXiv (Cornell University)|Jan 30, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用 6

一句话总结

本文提出一种使用原子范数正则化的张量鲁棒主成分分析（RPCA）方法，用于从损坏数据中恢复低秩和稀疏张量分量。该工作首次为张量RPCA建立了性能保证，表明其在恢复性能上优于基于矩阵和展开矩阵的方法，并提出了一种非凸优化形式，其中所有局部极小值均为全局最优，从而实现了对高秩张量的高效且精确的恢复。

ABSTRACT

This paper studies tensor-based Robust Principal Component Analysis (RPCA) using atomic-norm regularization. Given the superposition of a sparse and a low-rank tensor, we present conditions under which it is possible to exactly recover the sparse and low-rank components. Our results improve on existing performance guarantees for tensor-RPCA, including those for matrix RPCA. Our guarantees also show that atomic-norm regularization provides better recovery for tensor-structured data sets than other approaches based on matricization. In addition to these performance guarantees, we study a nonconvex formulation of the tensor atomic-norm and identify a class of local minima of this nonconvex program that are globally optimal. We demonstrate the strong performance of our approach in numerical experiments, where we show that our nonconvex model reliably recovers tensors with ranks larger than all of their side lengths, significantly outperforming other algorithms that require matricization.

研究动机与目标

• 开发一种鲁棒的张量RPCA方法，以保持高阶结构，并在恢复性能上优于基于矩阵和展开矩阵的方法。
• 利用原子范数正则化，为张量RPCA建立理论性能保证，改进现有张量和矩阵RPCA的界。
• 设计一种非凸优化形式，确保局部极小值的全局最优性，从而实现高效计算。
• 在现有方法失效的场景下，验证该方法在恢复Tucker秩达满秩且CP秩超过任意边长的张量时的有效性。
• 将该方法应用于潜在变量模型（如主题建模），展示其在鲁棒性和可解释性方面的改进。

提出的方法

• 使用张量原子范数作为张量秩的凸松弛，将核范数推广至高阶张量。
• 求解一个凸优化问题：在满足数据一致性的前提下，最小化张量原子范数与稀疏分量的l1-范数之和。
• 通过高阶Burer-Monteiro分解提出一种非凸形式，将低秩张量参数化为低阶因子的乘积。
• 证明在特定条件下，该非凸规划的所有局部极小值均为全局最优，从而实现可靠的优化。
• 在非凸形式上采用一阶优化方法，实现可扩展且高效的计算。
• 将该方法应用于潜在变量模型中的矩张量分解，避免了不稳定的白化步骤。

实验结果

研究问题

• RQ1 在张量RPCA中，原子范数正则化是否能在低秩张量分解中实现优于基于展开矩阵方法的恢复性能？
• RQ2 使用张量原子范数的张量RPCA能否建立理论性能保证？
• RQ3 张量RPCA的非凸形式是否能保持局部极小值的全局最优性，从而实现高效可靠的恢复？
• RQ4 当张量的CP秩大于任意边长时，该方法的性能如何？此时基于核范数之和的方法是病态的。
• RQ5 张量RPCA能否有效用于估计潜在变量模型（如主题模型）中的参数，特别是在稀疏损坏条件下？

主要发现

• 所提出的使用原子范数正则化的张量RPCA在恢复性能上优于现有方法，包括对矩阵RPCA和基于展开矩阵方法的改进。
• 该方法成功恢复了Tucker秩为满秩的张量，即使CP秩超过所有边长，而基于核范数之和的模型在此情形下会失效。
• 数值实验表明，与变分贝叶斯（1417）和张量CP分解（1503）相比，该方法实现了更低的困惑度（1309）和更好的主题连贯性，且分解速度更快（5.13秒 vs. 44.71秒）。
• 非凸形式在可验证条件下确保所有局部极小值均为全局最优，从而实现使用一阶方法的可靠收敛。
• 该方法避免了不稳定的白化步骤，且无需底层分布的线性无关性假设，使其在矩张量估计中更具鲁棒性。
• 在Tucker秩方面，性能保证是紧致的，但在CP秩方面尚未足够精确，提示未来需在原子秩或CP秩层面进行更深入分析。