[论文解读] Towards a Zero-One Law for Column Subset Selection

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 4, 2018

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文为广义低秩逼近中的列子集选择建立了零一律，证明了对于任意满足近似单调性且满足近似三角不等式的逐元素损失函数 $ g $，均存在高效算法。本文首次提出了针对非尺度不变、非 $ \ell_p $ 损失（如 Huber 和反向 Huber 函数）的高效列子集选择算法，表明此类函数相比 $ \ell_p $-范数需要多出 $ \sqrt{\log n} $ 因子的列数，并在对 $ g $ 的结构假设最少的前提下，提供了紧致的近似保证。

ABSTRACT

There are a number of approximation algorithms for NP-hard versions of low rank approximation, such as finding a rank-$k$ matrix $B$ minimizing the sum of absolute values of differences to a given $n$-by-$n$ matrix $A$, $\min_{ extrm{rank-}k~B}\|A-B\|_1$, or more generally finding a rank-$k$ matrix $B$ which minimizes the sum of $p$-th powers of absolute values of differences, $\min_{ extrm{rank-}k~B}\|A-B\|_p^p$. Many of these algorithms are linear time columns subset selection algorithms, returning a subset of $\mathrm{poly}(k \log n)$ columns whose cost is no more than a $\mathrm{poly}(k)$ factor larger than the cost of the best rank-$k$ matrix. The above error measures are special cases of the following general entrywise low rank approximation problem: given an arbitrary function $g:\mathbb{R} ightarrow \mathbb{R}_{\geq 0}$, find a rank-$k$ matrix $B$ which minimizes $\|A-B\|_g = \sum_{i,j}g(A_{i,j}-B_{i,j})$. A natural question is which functions $g$ admit efficient approximation algorithms? Indeed, this is a central question of recent work studying generalized low rank models. In this work we give approximation algorithms for $ extit{every}$ function $g$ which is approximately monotone and satisfies an approximate triangle inequality, and we show both of these conditions are necessary. Further, our algorithm is efficient if the function $g$ admits an efficient approximate regression algorithm. Our approximation algorithms handle functions which are not even scale-invariant, such as the Huber loss function, which we show have very different structural properties than $\ell_p$-norms, e.g., one can show the lack of scale-invariance causes any column subset selection algorithm to provably require a $\sqrt{\log n}$ factor larger number of columns than $\ell_p$-norms; nevertheless we design the first efficient column subset selection algorithms for such error measures.

研究动机与目标

• 确定允许高效列子集选择算法的逐元素损失函数 $ g $ 的最小结构条件。
• 解决非尺度不变、非 $ \ell_p $ 损失函数（如 Huber 和反向 Huber 函数）是否可通过列选择实现高效低秩逼近的问题。
• 为列子集选择建立零一律，刻画出哪些函数 $ g $ 可以通过 $ \operatorname{poly}(k\log n) $ 列实现常数因子近似。
• 分析列子集选择在非 $ \ell_p $ 损失下的固有局限性，证明相比 $ \ell_p $-范数，所需列数存在可证明的 $ \sqrt{\log n} $-倍增加。

提出的方法

• 定义广义低秩逼近问题，最小化 $ \|A - B\|_g = \sum_{i,j} g(A_{i,j} - B_{i,j}) $，其中 $ g: \mathbb{R} \to \mathbb{R}_{\geq 0} $ 为任意函数。
• 引入高效近似所必需的两个条件：$ g $ 的近似单调性与近似三角不等式，并证明二者均为必要条件。
• 设计一种列子集选择算法，返回 $ \operatorname{poly}(k\log n) $ 列，并实现对最优秩-$ k $ 解的 $ \operatorname{poly}(k) $-因子近似。
• 利用 $ g $ 的高效近似回归算法，确保当 $ g $ 允许此类回归时，整体算法可在近线性时间内运行。
• 通过概率分析与符号模式集中性论证（基于引理 D.2）证明列子集拟合代价的下界。
• 构造显式困难实例（例如，一个大列与多个小列）以证明对于非 $ \ell_p $ 损失，$ \sqrt{\log n} $-倍开销不可避免。

实验结果

研究问题

• RQ1 哪些逐元素损失函数 $ g $ 允许在低秩逼近中实现高效列子集选择算法？
• RQ2 近似单调性与近似三角不等式是否为这类算法存在的充分且必要条件？
• RQ3 能否在非尺度不变损失（如 Huber 或反向 Huber 函数）下实现高效列子集选择？
• RQ4 与 $ \ell_p $-范数相比，非 $ \ell_p $ 损失的列子集选择存在多大的固有成本开销？
• RQ5 是否能以列数需求的角度，形式化量化 $ \ell_p $-范数与非 $ \ell_p $ 损失之间的结构性差异（如缺乏尺度不变性）？

主要发现

• 本文建立了零一律：当且仅当损失函数 $ g $ 近似单调且满足近似三角不等式时，才能实现高效列子集选择。
• 针对 Huber 损失函数，本文设计了首个高效列子集选择算法，尽管其缺乏尺度不变性且与 $ \ell_p $-范数具有不同的结构特性。
• 对于反向 Huber 函数，单列的拟合代价为 $ \Omega(n^{3/4}) $，而最优秩-1逼近仅达到 $ \Theta(n^{3/4}) $，但任意单列子集的代价均达 $ \Omega(n) $，证明 $ \sqrt{\log n} $-倍开销不可避免。
• 本文证明，任何针对非 $ \ell_p $ 损失的列子集选择算法，其列数必须比 $ \ell_p $-范数多出 $ \sqrt{\log n} $-倍，且该界是紧致的。
• 分析表明，Huber 和反向 Huber 等函数缺乏尺度不变性，从根本上增加了列选择的复杂度，导致近似因子明显变差。
• 通过所有列子集的并集界与概率符号模式集中性（引理 D.2）结合，证明即使最优秩-1解远优，仅用一列也无法实现 $ n^{o(1)} $-近似，对反向 Huber 函数成立。