[论文解读] Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing

Arun Jambulapati, Jerry Li+1 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了两种在 $\epsilon$-污染下针对鲁棒子高斯主成分分析（PCA）的多项式时间算法，采用迭代过滤和近乎线性时间方法。其在 $1 - O(\epsilon\log\epsilon^{-1})$ 近似下恢复了主特征向量，并首次提出了针对 Schatten-$p$ 范数打包半定规划（SDP）的宽度无关求解器，可在 $O(p\log(nd/\epsilon)\epsilon^{-1})$ 输入稀疏性时间迭代内求解。

ABSTRACT

We develop two methods for the following fundamental statistical task: given an $\epsilon$-corrupted set of $n$ samples from a $d$-dimensional sub-Gaussian distribution, return an approximate top eigenvector of the covariance matrix. Our first robust PCA algorithm runs in polynomial time, returns a $1 - O(\epsilon\log\epsilon^{-1})$-approximate top eigenvector, and is based on a simple iterative filtering approach. Our second, which attains a slightly worse approximation factor, runs in nearly-linear time and sample complexity under a mild spectral gap assumption. These are the first polynomial-time algorithms yielding non-trivial information about the covariance of a corrupted sub-Gaussian distribution without requiring additional algebraic structure of moments. As a key technical tool, we develop the first width-independent solvers for Schatten-$p$ norm packing semidefinite programs, giving a $(1 + \epsilon)$-approximate solution in $O(p\log( frac{nd}{\epsilon})\epsilon^{-1})$ input-sparsity time iterations (where $n$, $d$ are problem dimensions).

研究动机与目标

• 开发在数据受最多 $\epsilon$ 比例任意异常值污染时，高效求解鲁棒 PCA 的算法。
• 提供多项式时间方法，无需对高阶矩施加代数结构，即可恢复协方差矩阵的有意义主特征向量。
• 在较弱的谱间隙假设下，设计近乎线性时间复杂度的算法，以提升样本效率和时间效率。
• 建立首个针对 Schatten-$p$ 范数打包半定规划的宽度无关求解器。
• 在输入稀疏性时间内实现 $(1 + \epsilon)$-近似解，且独立于问题宽度。

提出的方法

• 第一种算法采用迭代过滤方法，逐步剔除被污染样本，以恢复主特征向量的鲁棒估计。
• 第二种算法通过利用谱间隙假设，优化 Schatten-$p$ 范数，实现近乎线性时间复杂度。
• 关键技术突破在于开发了针对 Schatten-$p$ 范数打包 SDP 的宽度无关求解器，这对处理鲁棒 PCA 问题至关重要。
• 求解器在 $O(p\log(nd/\epsilon)\epsilon^{-1})$ 输入稀疏性时间迭代内运行，且独立于问题宽度。
• 算法设计用于处理在 $\epsilon$-污染下服从子高斯分布的数据，无需额外的矩结构假设。
• 通过针对 Schatten 范数量身定制的集中不等式和 SDP 松弛技术，推导出理论保证。

实验结果

研究问题

• RQ1 我们能否设计一种多项式时间鲁棒 PCA 算法，在 $\epsilon$-污染下实现非平凡近似因子，且无需代数矩假设？
• RQ2 在子高斯污染下，鲁棒 PCA 在多项式时间内可达到的最佳近似因子是多少？
• RQ3 我们能否在较弱的谱间隙条件下，为鲁棒 PCA 开发近乎线性时间算法？
• RQ4 如何高效求解 Schatten-$p$ 范数打包 SDP，且独立于问题宽度？
• RQ5 在鲁棒协方差估计中，近似质量与计算效率之间的最优权衡是什么？

主要发现

• 第一种算法通过迭代过滤，在多项式时间内实现了 $1 - O(\epsilon\log\epsilon^{-1})$-近似主特征向量。
• 第二种算法在较弱谱间隙假设下，实现了近乎线性时间与样本复杂度，近似因子略差。
• 本文首次提出针对 Schatten-$p$ 范数打包 SDP 的宽度无关求解器，实现了 $(1 + \epsilon)$-近似。
• 求解器需要 $O(p\log(nd/\epsilon)\epsilon^{-1})$ 输入稀疏性时间迭代，且独立于问题宽度。
• 这些算法是首次在无需对矩施加代数结构的前提下，为子高斯分布下的鲁棒 PCA 提供非平凡保证的算法。
• 研究结果为污染下的鲁棒 PCA 建立了新基准，兼具强大的理论保证与实际效率。