[论文解读] Refined Complexity of PCA with Outliers

Fedor V. Fomin, Petr A. Golovach+2 more|arXiv (Cornell University)|May 10, 2019

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了一种针对带异常值的主成分分析（PCA）的固定参数可追踪算法，其时间复杂度为 $ n^{/mathcal{O}(d^2)} $，当维度 $ d $ 为常数时为多项式时间。研究证明，除非指数时间假说（Exponential Time Hypothesis）不成立，否则任何算法都无法在 $ f(d)n^{o(d)} $ 时间内解决或近似该问题，且近似因子为常数，从而为该问题建立了紧致的复杂度界限。

ABSTRACT

Principal component analysis (PCA) is one of the most fundamental procedures in exploratory data analysis and is the basic step in applications ranging from quantitative finance and bioinformatics to image analysis and neuroscience. However, it is well-documented that the applicability of PCA in many real scenarios could be constrained by an "immune deficiency" to outliers such as corrupted observations. We consider the following algorithmic question about the PCA with outliers. For a set of $n$ points in $\mathbb{R}^{d}$, how to learn a subset of points, say 1% of the total number of points, such that the remaining part of the points is best fit into some unknown $r$-dimensional subspace? We provide a rigorous algorithmic analysis of the problem. We show that the problem is solvable in time $n^{O(d^2)}$. In particular, for constant dimension the problem is solvable in polynomial time. We complement the algorithmic result by the lower bound, showing that unless Exponential Time Hypothesis fails, in time $f(d)n^{o(d)}$, for any function $f$ of $d$, it is impossible not only to solve the problem exactly but even to approximate it within a constant factor.

研究动机与目标

• 为解决经典PCA在实际数据分析中对异常值的敏感性问题。
• 正式研究带异常值的PCA的参数化复杂度，目标是识别并排除 $ k $ 个异常点。
• 在维度 $ d $ 和异常点数量 $ k $ 的参数下，确定该问题的精确计算复杂度。
• 在标准复杂度假设下，建立该问题可解性的紧致上下界。

提出的方法

• 将带异常值的PCA建模为低秩逼近问题，其中存在稀疏污染：最小化 $ \|M - L - S\|_F^2 $，其中 $ \operatorname{rank}(L) \leq r $ 且 $ S $ 最多有 $ k $ 个非零行。
• 设计了一种时间复杂度为 $ n^{\mathcal{O}(d^2)} $ 的算法，当 $ d $ 为常数时为多项式时间。
• 通过从多色团问题（Multicolored Clique problem）的归约，证明了该问题复杂度的下界。
• 运用矩阵扰动和秩分析的代数与几何论证，表明小误差解可推出多色团问题的解。
• 应用指数时间假说（ETH）排除任何函数 $ f $ 下在 $ f(d)n^{o(d)} $ 时间内运行的算法，即使对于常数因子近似也成立。
• 证明该问题在参数 $ k $（异常点数量）下为 $ \operatorname{{\sf W}}[1] $-难，且除非 $ \operatorname{{\sf FPT}} = \operatorname{{\sf W}}[1] $，否则不存在运行时间在 $ f(d)N^{o(d)} $ 内的 $ \omega $-近似算法。

实验结果

研究问题

• RQ1 当维度 $ d $ 较小时，尽管该问题在一般情况下是 NP-难的，是否可以高效求解带异常值的PCA？
• RQ2 当以维度 $ d $ 为参数时，带异常值的PCA的精确参数化复杂度是什么？
• RQ3 是否存在一种常数因子近似算法，使得其在 $ d $ 上的时间复杂度为子指数时间？
• RQ4 在指数时间假说成立的前提下，是否可以对任意函数 $ f $ 实现时间复杂度为 $ f(d)n^{o(d)} $ 的算法求解该问题？
• RQ5 带异常值的PCA问题与多色团问题之间的复杂度关系是什么？

主要发现

• 带异常值的PCA问题可在时间 $ n^{\mathcal{O}(d^2)} $ 内求解，表明其在维度 $ d $ 上是固定参数可追踪的。
• 当 $ d $ 为常数时，该问题可在多项式时间内求解，为低维异常值数据提供了实用解法。
• 在指数时间假说（ETH）下，对于任意函数 $ f $，均不存在在 $ f(d)n^{o(d)} $ 时间内求解或常数因子近似该问题的算法。
• 当以异常点数量 $ k $ 为参数时，该问题为 $ \operatorname{{\sf W}}[1] $-难，表明其在该参数下具有强烈的不可解性。
• 除非 $ \operatorname{{\sf FPT}} = \operatorname{{\sf W}}[1] $，否则不存在运行时间在 $ f(d)N^{o(d)} $ 内的 $ \omega $-近似算法，其中 $ N $ 为输入矩阵的位数大小。
• 该下界结果是紧致的，与上界完全匹配，表明在 ETH 假设下，$ n^{\mathcal{O}(d^2)} $ 算法本质上是最优的。