[论文解读] Towards a Zero-One Law for Entrywise Low Rank Approximation.

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 4, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用 5

一句话总结

本文提出了一种适用于任意满足近似单调性和近似三角不等式的函数 $ g $ 的通用框架，用于逐元素低秩逼近，提供了多项式时间（$ k $）近似算法。此外，当误差项为独立同分布且具有有限的 $ (1+\gamma) $-阶矩时，该方法对 $ \ell_1 $ 损失实现了 $ (1+\epsilon) $-近似，且证明了该矩条件是必要的。

ABSTRACT

There are a number of approximation algorithms for NP-hard versions of low rank approximation, such as finding a rank-$k$ matrix $B$ minimizing the sum of absolute values of differences to a given matrix $A$, $\min_{ extrm{rank-}k~B}\|A-B\|_1$, or more generally finding a rank-$k$ matrix $B$ which minimizes the sum of $p$-th powers of absolute values of differences, $\min_{ extrm{rank-}k~B}\|A-B\|_p^p$. Many of these algorithms are linear time columns subset selection algorithms, returning a subset of ${ m{poly}}(k\log n)$ columns whose cost is no more than a ${ m{poly}}(k)$ factor larger than the cost of the best rank-$k$ matrix. The above error measures are special cases of the following general entrywise low rank approximation problem: given an arbitrary function $g:\mathbb{R} ightarrow\mathbb{R}_{\geq0}$, find a rank-$k$ matrix $B$ which minimizes $\|A-B\|_g=\sum_{i,j}g(A_{i,j}-B_{i,j})$. A natural question is which functions $g$ admit efficient approximation algorithms? Indeed, this is a central question of recent work studying generalized low rank models. We give approximation algorithms for every function $g$ which is approximately monotone and satisfies an approximate triangle inequality, and we show both of these conditions are necessary. Further, our algorithm is efficient if the function $g$ admits an efficient approximate regression algorithm. Our algorithm handles functions which are not even scale-invariant, such as the Huber loss function. Our algorithms have ${ m{poly}}(k)$-approximation ratio in general. We further improve the approximation ratio to (1+$\epsilon$) for $\ell_1$ loss when the entries of the error matrix are i.i.d. random variables drawn from a distribution $\mu$ of which (1+$\gamma$) moment exists, for an arbitrary small constant $\gamma>0$. We also show our moment assumption is necessary.

研究动机与目标

• 识别哪些逐元素损失函数 $ g $ 允许高效的低秩逼近。
• 开发一种适用于广泛非标准损失函数（包括Huber和 $ \ell_p $-类损失）的统一算法框架。
• 建立紧致条件——近似单调性和近似三角不等式——以确保高效逼近的可行性。
• 证明这些条件对于多项式时间（$ k $）近似算法的存在而言，既是必要也是充分的。
• 在误差项的误差矩阵满足温和的概率假设下，将 $ \ell_1 $ 损失的逼近比改进至 $ (1+\epsilon) $。

提出的方法

• 该算法采用线性时间列子集选择方法，选取 $ \text{poly}(k\log n) $ 列以构成低秩逼近。
• 它将逐元素低秩逼近问题转化为函数 $ g $ 上的近似回归问题，假设 $ g $ 具备高效的回归预言机。
• 该方法依赖于使用随机投影和采样构建矩阵的压缩表示，确保在 $ g $ 下误差界得以保持。
• 证明若 $ g $ 满足近似单调性且满足近似三角不等式，则逼近比有界于 $ \text{poly}(k) $。
• 对于 $ \ell_1 $ 损失，该方法利用在独立同分布误差假设下的集中不等式，实现了 $ (1+\epsilon) $-近似。
• 该框架具有通用性，可处理非尺度不变函数，如Huber损失，这些函数未被先前方法覆盖。

实验结果

研究问题

• RQ1 哪些函数 $ g $ 允许在逐元素低秩逼近中实现高效的多项式时间（$ k $）近似算法？
• RQ2 近似单调性和近似三角不等式是否对这类近似保证而言既是必要也是充分的？
• RQ3 在误差矩阵满足概率假设的条件下，$ \ell_1 $ 损失的逼近比能否提升至 $ (1+\epsilon) $？
• RQ4 使 $ \ell_1 $ 损失实现 $ (1+\epsilon) $-近似的误差分布的最小矩条件是什么？
• RQ5 该框架能否应用于非尺度不变损失函数（如Huber损失）？

主要发现

• 本文证明了近似单调性和近似三角不等式是逐元素低秩逼近中存在多项式时间（$ k $）近似算法的必要且充分条件。
• 该研究提出了一种通用算法，对任意满足这两个条件的函数 $ g $ 均可实现 $ \text{poly}(k) $-近似。
• 对于 $ \ell_1 $ 损失，当误差矩阵的元素为独立同分布且具有有限的 $ (1+\gamma) $-阶矩（对任意 $ \gamma > 0 $）时，该算法可实现 $ (1+\epsilon) $-近似，且该矩条件被证明是紧致的。
• 该框架成功处理了非尺度不变函数（如Huber损失），扩展了先前仅限于尺度不变或对称损失的研究结果。
• 逼近比独立于矩阵维度 $ m $ 和 $ n $，仅依赖于 $ k $，因此对大规模矩阵具有可扩展性。
• 在假设 $ g $ 具备高效回归预言机的前提下，该算法每列选择的时间复杂度为线性时间，使其适用于大规模数据。